Legged navigation은 Open world, 오프로드 및 까다로운 환경엣 널리 적용되어 왔다. 이런 시나리오에서 external disturbance를 추정하기 위해서는 Multi-modal 정보를 잘 종합할 필요가 있다. 이는 주로 장애물 회피에만 중점을 둔 기존 연구들의 한계이다.
본 논문에서는 1) 지형 인식, 2) 장애물 회피, 3) Closd-loop proprioception을 통합한 종합적인 경로 계획기인 TOP-Nav 프레임워크를 제안한다. TOP-Nav는 경로 계획과 보행 제어 모두에서 시각 정보와 Proprioception 간의 시너지를 강조한다.
경로 계획기 내에서 우리는 로봇이 장애물을 효과적으로 피하면서 Traversability가 더 높은 지형의 경유점을 선택할 수 있도록 하는 Terrain estimator를 제시한다. 보행 제어기는 계획된 경유점을 추적하고 Proprioception advisor로서 동작을 평가한다. 폐루프 동작 피드백을 기반으로 우리는 시각 기반 지형 및 장애물 추정에 대한 온라인 correction을 제공한다.
결과적으로 TOP-Nav는 로봇의 사전 지식의 분포를 넘어서는 지형이나 disturbance를 처리할 수 있고 시각적 제약을 극복할 수 있는 오픈 월드 내비게이션을 달성한다. 시뮬레이션과 실제 환경 모두에서 수행된 광범위한 실험을 바탕으로 TOP-Nav는 기존 방법들과 비교하여 오픈 월드 내비게이션에서 우수한 성능을 보여준다.
Introduction
최근 시뮬레이션을 기반으로 학습된 강력한 제어기를 통해 로봇이 다양한 지형을 주행할 수 있게 되었지만, 현실 세계의 시뮬레이션하기 어려운 복잡한 요소들로 인해 실제 환경에서 마주치는 모든 잠재적인 지형을 횡단하는 것은 불가능하다. 결과적으로, 단순히 보행 제어기를 시각 기반 경로 계획기와 연결하는 것은 제한된 시나리오에서만 Legged navigation을 가능하게 한다.
이런 한계를 극복하기 위한 효과적인 해결책은 로봇에 지형 인식 능력(Terrain awareness)을 부여하는 것이다. 적절한 접촉 높이와 힘의 분포를 가진 로봇의 지형 선호도를 기반으로 통행 가능한 경로를 계획할 수 있다. 장애물 추정과는 달리, 고유한 지형 특징들은 일반적으로 의미론적 정보로 인코딩되며, 전통적인 방법들은 이런 특징들을 학습하기 위해 충분한 데이터를 수집하고 Classification 또는 Segmentation 모델을 훈련시킨다.
그러나 모든 상상 가능한 지형과 그에 해당하는 보행을 모델링하는 것은 불가능하다. 더욱이 조명, 습도, 온도와 같은 동적인 실제 환경 조건들은 시각 센서로 감지할 수 없다. 따라서 시각에만 의존하고 경로 계획에서 Kinematic을 무시하는 것은 최선의 경로를 찾는 데에는 부족하다.
따라서 우리는 Motion evaluation에서 도축된 online correction으로 vision-only terrain estimator를 보완한다. 우리는 새로운 지형에 대한 Traversability score에 대한 정보를 전달하고 보이지 않는 장애물과 같은 예상치 못한 교란을 로봇에게 경고하기 위한 proprioceptive advisor를 구성하였다.
Terrain estimator, Obstacle estimator, Proprioception advisor를 통합함으로써 우리는 4족보행 로봇이 다양하고 도전적인 지형을 능숙하게 주행할 수 있는 계층적 경로 계획 및 운동 제어 프레임워크인 TOP-Nav를 제안한다. TOP-Nav에서는 이전에 수집된 데이터로부터 훈련된 terrain estimator를 개발하여 로봇에게 traversability를 알려 준다. 새로운 지형에 대해서는 예상치 못한 환경적 교란의 vision 기반 추정에 대한 온라인 보정을 제공하기 위해 proprioceptive history를 이용한다.
Related Work
2.1 Vision and Legged Proprioception Integration
Vision-aided legged navigation은 기존 문헌들에서 광범위하게 연구되었으며 성능은 강력한 perception 모듈에 크게 의존적이다. 이런 의존성은 특정 시스템을 다른 하드웨어 플랫폼으로 이전하는 것을 어렵게 만든다. 최근의 연구들은 task planning을 개선하고, 포괄적인 관찰을 제공하고 시각 시스템에 대한 의존도를 줄이기 위해서 proprioceptive 센서를 도입하고 있다.
이런 연구의 대부분은 시뮬레이션에서 시각적 특징과 함께 proprioceptive 표현을 학습한 다음 다른 프레임워크를 통해 Cross-modal 특징을 구현한다. 이런 연구들에서 입증된 효과에도 불구하고 High-dimensional representation space는 새로운 시나리오 적응과 시뮬레이션-현실 전이에 있어서 여러 한계점들이 있다.
이런 한계를 극복하기 위해 우리는 TOP-Nav 내에서 Multi-modal 관찰에서 도출된 일련의 Costmap을 운영하는 새로운 접근 방식을 제안한다. 또한 우리는 추가적인 Train 과정 없이 효율적인 solution을 제공하는 value function에서 motion evaluation을 도출하기 위해 학습 기반 보행 제어기를 활용한다.
2.2 Terrain Traversability Estimation
Terrain traversability는 지형 기하학, 질감, 물리적 특성과 같은 요인들에 의해 결정된다. 이런 특징들은 미리 정의된 static traversability score를 가진 semantic class를 식별함으로써 추정될 수 있다. 이런 해결책들은 주로 대규모 데이터셋에 의존하거나 도시 시나리오같은 구조화된 환경으로 제한된다. 오프로드 내비게이션에서, 로봇과 환경 사이의 동적 상호 작용에 관련된 운동 상태는 traversability를 평가하기 위한 유의미한 지표를 제공한다. 이렇기 때문에 self-supervised 학습을 통해 proprioceptive 센서에서 traversability를 도출함으로써 수동 annotation을 할 필요가 없도록 하는 많은 방법들이 제안되었다. 그럼에도 불구하고, 이런 연구들의 성능은 수집된 데이터셋의 품질에 좌우된다. 연구자들은 unconstrained navigation 과제를 해결하기 위해 새로운 관찰을 처리하는 다양한 접근 방식들을 고민해왔다. 예를 들어 Frey는 annomaly를 고려하여 traversability 추정 네트워크를 온라인으로 업데이트했고, Karnan은 시각적으로 새로운 지형을 기존 traversability와 align하기 위해 proprioceptive 공간에서 K-NN 검색을 수행한다.
새로운 지형에 대한 traversability를 추정하는 이런 연구들에서 영감을 받아, 우리는 proprioceptive advisor를 온라인 correction으로 사용하는 traversability estimator를 제안한다. 우리 방법은 주로 두 가지 핵심 측면에서 이전 접근 방식들과 차이가 있다. 1) 우리는 로봇-지형 상호작용의 포괄적인 평가를 제공하는 강화학습에서 추정된 Value function을 사용하여 terrain traversability를 평가한다. 2) 우리는 추가적인 훈련 없이 시각 기반 추정에 대한 온라인 보정을 수행하여 새로운 지형을 식별하기 위해 data-efficient solution을 제공한다.
Background
Learning-based legged locomotion 제어기는 주로 강화학습을 통해 발전되어져 왔으며, 이는 일반적으로 비대칭 actor-critic 훈련 내에서 정책 π1을 업데이트함으로써 달성된다.
ct는 πcritic으로부터 추정된 value function을 나타내며, 다음을 통해 업데이트된다.
si는 로봇 상태를 나타내며, R(si)는 타임스텝 i에서 누적된 보상을 나타내며, 일반적으로 안정적인 보행과 자세로 주어진 속도 명령을 추덕하도록 로봇을 안내하는 것을 포함한다. R(si)를 공식화하기 위한 reward engineering은 value function c_t_targ가 로봇과 환경 사이의 포괄적인 상호 작용 집합을 평가할 수 있게 했다. 이는 경로 계획기 내에서 운동 평가를 위해 추정된 Ct를 활용하는 proprioceptive advisor의 필수적인 기반을 제공한다.
Method
4.1 System Overview
TOP-Nav는 Legged locomotion 작업을 해결하기위해 경로 계획기와 운동 제어기를 연결한다. 경로 계획기는 integrated cost map MC에서 경유점을 생성하며, 이는 로봇 주변에 구축되고, online proprioceptive 와 visual observation을 통해 업데이트된다. MC는 traversability cost map Mt, obstacle occupancy Mo, proprioception advice Mp와 goal appraoching Mg를 포함하는 외부 환경에 대한 포괄적인 추정을 제공한다.
Waypoint는 Learning-based RL 보행 제어기를 통해서 추적된다.
4.2 Proprioception Advisor
우리는 예상치 못한 외부 교란으로 인해 발생할 수 있는 운동 이상을 식별하기 위해 Proprioception Advisor를 설계했다. 로봇-환경 간의 안정적이고 포괄적인 평가를 위해 우리는 여러 지표를 종합하고 역사적 관찰을 통합하기 위해 추정된 Value function을 훈련시켰다.
Fig 3.b에서 보여지듯이, 로봇이 도전적인 지형으로 전환하면서 발생하는 보행 실패를 마주칠 때 운동 평가 (Motion evaluation)가 급격히 감소할 것이다. 경로 계획기 내에서, 우리는 먼저 예상치 못한 교란에 대한 로봇의 인식을 향상시키기 위해 운동 평가를 직접 활용했다. 이는 보이지 않는 충돌(MP)를 추정하고 이를 결합된 비용 지도(MC)에 통합하는 것을 포함한다.
우리는 측면 방향 (MP에서 y축)을 따라 연속적으로 변화하는 proprioceptive cost를 제안한다.
여기서 kp는 하이퍼파라미터이고 ct는 추정된 운동 평가이다. 더 낮은 운동 평가는 현재 로봇 방향의 잠재적으로 도전적인 지형이나 보이지 않는 장애물을 나타내므로, 우리는 ct를 MP의 중심 열에 할당하고 가장자리를 향해 감소시킨다. 이는 로봇의 운동이 예상치 못한 장애물이나 도전적인 지형에 의해 방해될 때 계속 전진하는 것을 방지할 것이다.
4.3 Vision-based Terrain Estimation
제안된 지형 추정기는 먼저 시각적 관찰을 기존에 알고 있는 지형 통행성과 연결하는 것부터 시작한다. RGB이미지를 BEV로 변환하고, 이를 여러 구역으로 나눈다. 각 구역 내에서는 동일한 난이도를 부여한다. 기존에 알고 있는 지형 데이터베이스 내의 지형은 terrain classification network을 통해 식별된다.
새롭거나 낯선 지형을 만났을 때는 이런 식별 방법이 부족할 수 있다는 점을 고려해, 예측의 불확실성을 계산하고 이를 통해 현재 시각적 판단의 신뢰도를 측정한다.
- 신뢰도 = 1 + Σ(예측확률 × log(예측확률)) - 지형 = 가장 높은 예측확률을 가진 지형
이렇게 계산된 정보를 바탕으로 시각 기반 통행성 비용 지도를 만들 수 있다. 이 과정에서 이전 연구들의 경험을 활용하는데, 로봇이 다양한 지형을 이동하면서 수집한 운동 평가 데이터를 활용한다. 운동 평가가 좋은 지형일 수록 더 높은 통행성 점수와 더 낮은 지형 비용이 부여된다.
4.4 Online Terrain traversability Corrections
시각 정보와 로봇의 자체 감각을 효과적으로 통합함으로써, 추가적인 학습 없이도 시각 기반 통행성 추정을 실시간으로 보정할 수 있다. 이를 통해 로봇은 기존에 수집된 데이터의 한계를 넘어서는 지형도 인식할 수 있게 된다.
로봇이 특정 지형을 보고 이동한 후에 그 지형의 통행성을 어떻게 기억하는지 설명하자면, 로봇의 현재 위치(xbase , ybase)에서 1초 동안의 자체 감각 정보를 기록하여 해당 위치의 지형 통행성 비용을 계산한다. 또한, 같은 구역을 이전에 관찰했을 때 추출된 특징 정보도 함께 저장한다. 새로운 지형을 관찰했을 때는, 이전에 경험한 지형들 중에서 가장 비슷해 보이는 지형을 찾아 그 경험을 활용한다. 이때 새로운 지형에 대한 시각적 판단이 불확실할수록, 이전 경험에서 얻은 정보를 더 많이 반영한다.
이러한 방식으로 보정된 지형 정보를 경로 계획에 반영함으로써, 우리의 시스템은 다양한 지형과 시각적 조건에 빠르게 적응할 수 있다.
Evaluation
5.1 Experimental Setup
Evalution Settings
시뮬레이션 실험은 Nvidia Isaac Gym 환경에서 진행되었따. 8x8 크기의 독립적인 내비게이션 셀 그리드를 만들었는데, 각 셀은 5m x 5m 크기이며 특정 목표 지점으로 이동하는 로봇이 배치된다. 로봇과 목표 지점은 무작위로 생성되며, 초기 거리는 최소 5m 이상으로 설정했다. 시뮬레이션은 64개의 내비게이션 셀 각각에서 25번씩 실험을 진행했다. 실제 환경에서는 도전적인 장애물과 다양한 지형이 포함된 여러 시나리오에서 실외 내비게이션 작업을 수행했으며, 각 방법별로 시나리오마다 5번씩 반복 실험했습니다.
Metrics
1. Success Rate 2. Terrain Difficulty 3. Unstable Time 4. Velocity Tracking Failure 5. Average Energy Consumption
