How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability

How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability

Mateo Guaman Castro, Samuel Triest, Wenshan Wang, Jason M. Gregory, Felix Sanchez, John G. Rogers III, and Sebastian Scherer

 

https://ieeexplore.ieee.org/abstract/document/10160856

 

ICRA 2023

Abstract

• Off-road에서 terrain traversability를 학습하기 위한 label을 생성하는 것은 어렵다. 
• 외부 센서가 주는 환경에 대한 정보와 내부 센서가 주는 terrain interaction feedback을 사용하여 self-supervised 방식으로 traversability를 학습하는 방법을 제안한다. 
• robot velocity를 costmap으로 combine하는 방법까지 제시하고 있다. 
• Short-scale navigation은 국소적인 부분에서 좀 더 부드럽게 주행할 수 있도록 하고, large-scale navigation은 occupancy-based navigation보다 장애물을 더 많이 줄일 수 있도록 한다. 

Introduction

• 실외에서 traversability를 예측하는 것은 중요하다. 
• 그렇지만 이걸 외부 환경 센서로만 예측하기는 어렵다. 
• IMU나 휠 엔코더, velocity나 suspension 등으로 지형의 특성을 포착할 수 있다. 
• 글치만 어려운 점이 많음 (bush는 traversable한데 point cloud 기하학적으로는 non-traversable로 분류되기 쉽고...)
•  따라서 proprioceptive 센서를 활용한 self-supervised learning 방식이 적합할 수 있음. 
• 제안하는 아키텍쳐
  • CNN backbone : 고차원 exteroceptive information을 처리하는 feed-forward network
    •  푸리에 parameterization을 이용해 
• Contribution
  • visual, geometric, velocity 정보를 continous-valued costmap으로 바꾸는데, 여기서 human-annotated label 안 씀
  • IMU-derived traversability cost 제안
  • low-dimensional dynamics를 high-dimensional visual feature과 합치는 방법 (Fourier feature mapping) 제안
  • Continous-valued learned costmap 생성

Related Work

• 옛날 방식들
  • analyzing planrity or eigen values of the terrain point cloud
  • terrain traversability classifiers based on visual and geometric appearance
• 최근 방식들
  •  visual data의 semantic segmentation 사용
    • human semantic classes를 cost로 바로 변환하는 게 애매함
    • annotation 필요
    • inverse reinforcement learning을 사용하는 방법도 있음 (찾아보기)
  • 최근에는, off-road에서 traversability estimation을 하는 task가 continuous costmap을 self-supervised로 학습하는 걸로 많이 진행됨. 
  • 본 논문에서는 RGB 이미지와 Point Cloud를 둘 다 사용함

Costmap Learning

• pipeline
  • derivation of a cost function from proprioception
  • extraction of a map-based representation from visual and geometric data
  • representation of velocity as an input to our model
  • training a neural network to predict traversability cost
• Pseudo-ground truth traversability cost
  • 목표 :  path planning에 바로 활용될 수 있는 continuous, normalized traversability cost를 학습하는 것
  • IMU linear accleration in z axis
    • S : power spectral density (PSD)

• Mapping
  • Exteroceptive information을 BEV로 변환 -> Local map
  • disparity image를 얻기 위해서 stereo matching network 사용
  • TartanVO를 사용해 camera odometry 획득
  • odometry와 RGB 데이터를 사용해 dense point cloud를 colorize
• Velocity Parameterization
  • 네트워크에 속도도 넣음으로써 velocity-conditioned costmap 생성
  • high-dimensional local map input을 low-dimensional velocity input과 맞추기 위해서 
    • Fourier feature mapping 
      • 저차원 입력을 고차원 특징 공간으로 변환해 모델의 표현력 향상
      • 입력 데이터를 고차원의 주기적 함수로 변환
      • 저차원 벡터를 fourier 특징을 사용해 고차원으로 매핑하는 것이 MLP의 스펙트럼 편향을 조절할 수 있음
        • 이렇게 함으로써 속도 입력의 미세한 변화에 더 쉽게 적응할 수 있는 함수를 학습할 수 있게 함
        • 네트워크의 예측이 고차원 2D 입력에 좌우되는 것을 방지함

• Costmap Learning
  • Local Map Patches
    • 2x2 meter 패치로 분할
  • Cost Learning
    • 입력 : 로컬 맵 지형 채지와 해당하는 Fourier 매개변수화된 속도
    • 예측 : 각 패치의 주행 가능성 Cost
    • 패치의 특징 추출을 위해서는 ResNet18을 백본으로 사용
  • Costmap Prediction

 

Experimental Results

• Training Data
  • TartanDrive
• Navigation Stack
  • MPPI (Model Predictive Path Integral) Control for path planning and control
• Do learned costmaps show more nuance ?
• Does velocity affect the predicted costmaps ?
  • patch-model 
  • patch-vel-model
  • patch-Fourier-vel-model
• Comparison
  • Appreance-based roughness baselines
    • 비교군 1번째 : roughness를 standard deviation of height in a given patch로 정의
    • 비교군 2번째 : average RGB value를 추가해서 metric으로 사용
• Do learned costmaps improve short-scale navigation?
  • 그냥 geometric occupancy-grid costmap을 기반으로 한 navigation stack과 비교
  •