논문 리뷰
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability
짓호
2024. 10. 15. 17:39
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability
Mateo Guaman Castro, Samuel Triest, Wenshan Wang, Jason M. Gregory, Felix Sanchez, John G. Rogers III, and Sebastian Scherer
https://ieeexplore.ieee.org/abstract/document/10160856
ICRA 2023
Abstract
- Off-road에서 terrain traversability를 학습하기 위한 label을 생성하는 것은 어렵다.
- 외부 센서가 주는 환경에 대한 정보와 내부 센서가 주는 terrain interaction feedback을 사용하여 self-supervised 방식으로 traversability를 학습하는 방법을 제안한다.
- robot velocity를 costmap으로 combine하는 방법까지 제시하고 있다.
- Short-scale navigation은 국소적인 부분에서 좀 더 부드럽게 주행할 수 있도록 하고, large-scale navigation은 occupancy-based navigation보다 장애물을 더 많이 줄일 수 있도록 한다.
Introduction
- 실외에서 traversability를 예측하는 것은 중요하다.
- 그렇지만 이걸 외부 환경 센서로만 예측하기는 어렵다.
- IMU나 휠 엔코더, velocity나 suspension 등으로 지형의 특성을 포착할 수 있다.
- 글치만 어려운 점이 많음 (bush는 traversable한데 point cloud 기하학적으로는 non-traversable로 분류되기 쉽고...)
- 따라서 proprioceptive 센서를 활용한 self-supervised learning 방식이 적합할 수 있음.
- 제안하는 아키텍쳐
- CNN backbone : 고차원 exteroceptive information을 처리하는 feed-forward network
- 푸리에 parameterization을 이용해
- CNN backbone : 고차원 exteroceptive information을 처리하는 feed-forward network
- Contribution
- visual, geometric, velocity 정보를 continous-valued costmap으로 바꾸는데, 여기서 human-annotated label 안 씀
- IMU-derived traversability cost 제안
- low-dimensional dynamics를 high-dimensional visual feature과 합치는 방법 (Fourier feature mapping) 제안
- Continous-valued learned costmap 생성
Related Work
- 옛날 방식들
- analyzing planrity or eigen values of the terrain point cloud
- terrain traversability classifiers based on visual and geometric appearance
- 최근 방식들
- visual data의 semantic segmentation 사용
- human semantic classes를 cost로 바로 변환하는 게 애매함
- annotation 필요
- inverse reinforcement learning을 사용하는 방법도 있음 (찾아보기)
- 최근에는, off-road에서 traversability estimation을 하는 task가 continuous costmap을 self-supervised로 학습하는 걸로 많이 진행됨.
- 본 논문에서는 RGB 이미지와 Point Cloud를 둘 다 사용함
- visual data의 semantic segmentation 사용
Costmap Learning
- pipeline
- derivation of a cost function from proprioception
- extraction of a map-based representation from visual and geometric data
- representation of velocity as an input to our model
- training a neural network to predict traversability cost
- Pseudo-ground truth traversability cost
- 목표 : path planning에 바로 활용될 수 있는 continuous, normalized traversability cost를 학습하는 것
- IMU linear accleration in z axis
- S : power spectral density (PSD)
- Mapping
- Exteroceptive information을 BEV로 변환 -> Local map
- disparity image를 얻기 위해서 stereo matching network 사용
- TartanVO를 사용해 camera odometry 획득
- odometry와 RGB 데이터를 사용해 dense point cloud를 colorize
- Velocity Parameterization
- 네트워크에 속도도 넣음으로써 velocity-conditioned costmap 생성
- high-dimensional local map input을 low-dimensional velocity input과 맞추기 위해서
- Fourier feature mapping
- 저차원 입력을 고차원 특징 공간으로 변환해 모델의 표현력 향상
- 입력 데이터를 고차원의 주기적 함수로 변환
- 저차원 벡터를 fourier 특징을 사용해 고차원으로 매핑하는 것이 MLP의 스펙트럼 편향을 조절할 수 있음
- 이렇게 함으로써 속도 입력의 미세한 변화에 더 쉽게 적응할 수 있는 함수를 학습할 수 있게 함
- 네트워크의 예측이 고차원 2D 입력에 좌우되는 것을 방지함
- Fourier feature mapping
- Costmap Learning
- Local Map Patches
- 2x2 meter 패치로 분할
- Cost Learning
- 입력 : 로컬 맵 지형 채지와 해당하는 Fourier 매개변수화된 속도
- 예측 : 각 패치의 주행 가능성 Cost
- 패치의 특징 추출을 위해서는 ResNet18을 백본으로 사용
- Costmap Prediction
- Local Map Patches
Experimental Results
- Training Data
- TartanDrive
- Navigation Stack
- MPPI (Model Predictive Path Integral) Control for path planning and control
- Do learned costmaps show more nuance ?
- Does velocity affect the predicted costmaps ?
- patch-model
- patch-vel-model
- patch-Fourier-vel-model
- Comparison
- Appreance-based roughness baselines
- 비교군 1번째 : roughness를 standard deviation of height in a given patch로 정의
- 비교군 2번째 : average RGB value를 추가해서 metric으로 사용
- Appreance-based roughness baselines
- Do learned costmaps improve short-scale navigation?
- 그냥 geometric occupancy-grid costmap을 기반으로 한 navigation stack과 비교