Hierarchical Tri-manual Planning for Vision-assisted Fruit Harvestingwith Quadrupedal Robots

Hierarchical Tri-manual Planning for Vision-assisted Fruit Harvestingwith Quadrupedal Robots

Zhichao Liu and Jingzong Zhou and Konstantinos Karydis

2025 ICRA

https://arxiv.org/abs/2409.17116

Hierarchical Tri-manual Planning for Vision-assisted Fruit Harvesting with Quadrupedal Robots

 

Abstract

본 논문은 복잡하고 자연적인 환경에서 효율적으로 과일을 수확할 수 있는 다관절 사족보행 로봇의 개발 과제를 다루고 있다. 기존의 양팔 조작 방식이 갖는 고유한 한계를 극복하기 위해, Spot 사족보행 로봇 기반으로 세계 최초의 세 팔 로봇인 LocoHarv-3를 개발하고, Spot의 내장 End effector와 맞춤형 양팔 조작기 간의 충돌 없는 경로 생성을 위한 새로운 hierarchical tri-manual planning 방식을 제안한다. 이 반자동 프레임워크는 LiDAR 기반 오도메트리 및 매핑을 지원하는 Teleoperation, 그리고 학습 기반의 시각 인지를 통합하여 정확한 과일 탐지 및 자세 추정을 가능하게 한다. 성능 검증은 모션 캡쳐 시스템을 활용한 실내 실험과 자연 환경에서의 야외 테스트를 통해 수행되었다. 그 결과 실내 환경에서 단일 시도 기준으로 90%의 성공률을 달성하였고, 야외 실험에서도 시스템의 강건성과 효율성이 입증되었다. 

 

Introduction

정밀 농업(Precision Agriculture) 분야에서 로봇 팔은 작업 정밀도와 효율성 향상이라는 기술적인 이점을 제공하며, 이는 인건비 절감과 환경 지속 가능성 향상에 기여할 수 있는 잠재력을 지닌다. 그러나 농업 환경의 복잡성과 고강도 생산 요구는 작물의 다양성을 처리할 수 있는 강건하고 적응력 있는 시스템을 필요로 한다. 

농업용 로봇의 텔레오퍼레이션 시스템은 광범위하게 채택되어 왔다. 특히 원격 조작되는 로봇 팔은 섬세한 작업을 수행할 때 인간의 정밀한 개입을 가능하게 하며, 다양한 작물 처리에 유연성을 제공하고, 위험한 환경에서도 원격 작업이 가능하여 작업자의 안전성을 향상시키며 육체 노동을 줄여주는 장점을 지닌다. 
그러나 이런 시스템은 높은 운용 비용, 숙련된 조작자에 대한 의존성, 학습 곡선의 가파름 등의 한계를 가지며, 인간 개입에 대한 의존성은 대규모 농업 작업에서의 자동화와 확장성을 제한한다. 

다관절 구조를 채택한 농업용 로봇은 점차 그 활용 가능성을 확장하고 있다. Bimanual 로봇이 양쪽 팔을 조정하여 작업을 수행하도록 설계되면 높은 숙련도를 확보할 수 있다. 실제로 양팔 매니퓰레이터는 가지, 키위, 배 등 과일 수확 작업에서 성공적으로 활용된 사례들이 있다. 기존 연구에서는 아보카도 수확 시 발행하는 탄성 에너지가 효율적인 수확을 방해하는 문제를 해결하기 위해 다양한 엔드 이펙터를 갖춘 양팔 수확기를 제안한 바 있다. 
하지만 고정 기반의 양팔 시스템은 작업 범위가 제한적이며, 이 문제는 제 3의 팔을 이동 가능한 베이스로 활용하고 자유도를 추가함으로써 완화될 수 있다. 

사족보행 로봇은 거친 지형에서 뛰어난 이동성을 제공하지만 현재까지는 대부분 운반, 점검, 매핑 등 수동적인 작업에 국한되어 있으며 실제 물리적 상호작용을 수반하는 작업은 제한적이다. 사족보행 로봇에 매니퓰레이터를 탑재해 제어하는 것은 여전히 큰 기술적 도전 과제이며, 기존 연구는 대부분 단일 팔 제어에 집중되어 있다. 현재까지 사족보행 플랫폼에서 다팔 조작을 활용한 농업 적용에 대한 연구는 이루어진 바가 없다. 

 

LocoHarv-3 Platform

NUC : 양 팔의 모션 플래닝, 제어, 시각 기반 과일 탐지 및 위치 추정 수행
왼팔 : 과일의 자루를 잡음
오른팔 : 과일과 직접 접촉하여 수확 
(아보카도 수확 시 두 팔이 모두 필요함)
전체 양팔 시스템의 무게 : 1.63kg

 

Hierarchical Tri-Manual Planning

양팔 시스템은 두 팔 사이의 공간으로 작업 공간이 제한되어 있다. 사족 보행 플랫폼은 우수한 Traversability와 하중 지지 능력을 가지고 있지만, 공중 플랫폼에 비해 3차원 공간에서 유연성이 부족하다. 이런 한계를 극복하기 위해 본 연구에서는 세계 최초로 세 팔 조작 시스템을 제안하고 새로운 Hierarchical tri-manual planning 기법을 도입했다. 이는 다음 두 단계로 구성된다. 

1. Spot 로봇 팔을 위한 Next-Best View 플래닝
2. 양팔 시스템을 위한 Constrained QP 및 해석적 순기구 해석