덜 울퉁불퉁한 도로 찾기 : How Rough Is the Path ? Terrain Traversability Estimation for Local and Global Path Planning

How Rough Is the Path? Terrain Traversability Estimation for Local and Global Path Planning

 

Gabriel Günter Waibel, Tobias Löw, Mathieu Nass, David Howard, Tirthankar Bandyopadhyay, and Paulo Vinicius Koerich Borges 

 

2022 IEEE Transaction

 

Abstract

 

지형에 대한 인식과 해석은, 지형 특성이 매우 가변적일 수 있는 (Highly variable) 오프로드 지역의 로봇 내비게이션에서 필수적입니다. 경로를 계획할 때는 지형 경사도 및 거칠기와 같은 기능을 고려해야 하며 이는 Traversability Cost 에 반영되어야 합니다. 하지만 현재 대부분의 Cost map 은 보통 통과 가능한 영영 / 통과할 수 없는 영역의 이진 분류를 채택하고 있습니다. 
본 논문에서는 LiDAR 를 사용하여 연속적인 Cost map 을 구축하기 위한 Local 및 Global 계획 방법론을 제시합니다. 이때 두 가지 방법을 시도하였는데, 첫 번째인 통계적 접근 방식은 포인트 클라우드에서 직접 횡단 비용을 계산합니다. 두 번째 학습 기반 접근법은 2D-Convolutional-LSTM 신경망을 사용하여 기하학적 포인트 클라우드 데이터에서 IMU 값을 예측합니다. 이를 통해 IMU 신호를 포인트 클라우드 패치에 매핑하는 데이터셋을 기반으로 패치를 직접 지나가지 않고도 비용을 추정할 수 있습니다. 
지형 분석을 기반으로 2개의 연속적인 Cost map 을 생성하여 Local 내비게이션을 위한 거리 및 Traversability Cost 를 고려하여 최적의 경로를 선택합니다. 

 

Introduction

 

Autonomous navigation 의 중요한 기능은 현재 위치에서 원하는 목적지까지의 최적 경로를 계산하는 데 사용하는 Cost map 을 생성하는 것입니다. Cost map 은 전통적으로 통과 가능한 영역과 통과할 수 없는 영역으로 구분되는 이산 표현으로 간주됩니다. 이 접근 방식은 실내와 On-road 에서 잘 수행되지만 오프로드 지형은 종종 변수가 너무나 많아 이 두 클래스를 효과적으로 구별할 수 없는 경우가 있습니다. 따라서 지형은 다른 메트릭 (예 : 목표까지의 거리) 과 함께 계획된 경로에 영향을 미치는 Continuous Traversability Score 로 표시되어야 합니다. 

지형 분석의 주요 아이디어는 일반적으로 가파르고 거친 지면을 피해야 하므로 평평한 길보다 거친 길이 비용이 높다는 사실에 기반합니다. 거친 지형은 지나가기 어렵고, 주행 실패 가능성을 높이고 더 많은 에너지를 필요로 함으로 가능한 한 피해야 합니다. 이런 이유들로 인해 특정 상황에서는 더 길지만 부드러운 경로가 더 좋습니다. 가파른 지형은 상대적으로 인지하고 계산하기 쉽지만 거친 지형은 해석하기 어렵습니다.
이미지 데이터로부터 지반을 추정하는 지형 분석 방법은 좋은 결과를 얻은 사례들이 있었습니다. 그러나 보다 최근의 접근 방식은 기계 학습 방법을 적용하여 장면을 보다 포괄적으로 이해하고자 하였습니다. Supervised Learning 방식은 사람이 제공한 Label 을 사용하여 환경을 여러 클래스로 분할합니다. 기울기, 거칠기 또는 미끄러짐과 같은 지형적 특징은 다양한 센서로 추정할 수 있기 때문에 로봇은 자신의 경험을 통해 이를 학습할 수 있습니다. 
강력한 CNN 이 이미지에 적용되기 때문에 신경망 기반의 많은 최신 학습 접근 방식은 이미지 데이터를 사용합니다. 그러나 조명 조건에 따라 결과가 저하될 수 있는 상황이 있으므로 LiDAR 와 같은 Range 센서가 대안이 될 수 있습니다. 

본 논문에서는 혼합 (포장 및 오프로드) 환경에서 AGV 의 내비게이션 Cost map 생성에 중점을 둡니다. Cost map 은 두 가지 주요한 접근 방식을 통해 생성됩니다. SRE (Statistical-based Roughnesss Estimation) 및 LRE (Learning-based Roughness Estimation) 방법이 사용됩니다. 
SRE 방법은 LiDAR 데이터를 사용하여 포인트 클라우드에서 직접 지형의 기울기와 거칠기를 추정합니다. LRE 의 경우 데이터 추출에서 비용 할당에 이르는 End-to-End 솔루션을 개발합니다. 
이것의 기본 개념은 차량이 표면과 상호작용 할 때 지형의 거칠기를 IMU 센서로 측정할 수 있다는 것입니다. IMU 세그먼트를 해당 포인트 클라우드 영역에 일치시킴으로써 포인트 클라우드에서 IMU 신호로의 매핑을 학습할 수 있으며, 이후 맵에서 보이지 않는 영역의 비용도 LiDAR 데이터를 통해 추정할 수 있습니다. 포인트 클라우드 영역은 이미지로 취급되어 CNN 에 들어갑니다. 

두 접근 방식은 모두 Local 및 Global Planning 에 적용됩니다. Local Path Planning 을 위해서 여러 궤적이 생성되고, 각 궤적은 실시간으로 SRE 또는 LRE 를 사용하여 목표까지의 거리와 Terrain Cost 를 둘 다 고려하여 순위가 매겨집니다.
또한 각 접근 방식을 사용하여 연속적인 Global Cost map 이 생성됩니다. 제안된 맵은 이진 표현 대신 8비트를 사용하여 지형을 나타냅니다. 맵을 평가하기 위해 다익스트라 알고리즘을 사용하여 지형과 거리를 기반으로 최적의 경로를 선택하고, 경로 평가를 통해 이진 방법과 성능을 비교합니다. 
그 결과, SRE 와 LRE 가 BM 의 성능을 훨씬 능가합니다. 현장 실험은 자율 주행 시 여러 시나리오에서 고품질의 경로를 생성합니다. 

 

Related Works

 

A. Statistical Methods

일반적으로 Traversability 는 지형 기하학 및 Terramechanic (토양의 특성 및 차량 바퀴 / 트랙과의 상호 작용) 특성의 함수입니다. Traversability Cost 를 정량화하기 위해 기본적인 통계 (차량 앞 패치의 분산 및 경사) , 즉 경사와 거칠기를 사용할 수 있습니다. 
거칠기는 물리적 표면 높이의 소규모 변화이며 Traversability 와 밀접한 관련이 있습니다. 수학적으로 거칠기는 관심 영역의 포인트 분포가 얼마나 분산되어 있는지, 혹은 선형 / 평면인지에 따라 달라집니다. 거칠기는 잔차를 계산하는 최소 제곱 평면 피팅, 지형 지점에 대한 주성분 분석과 같은 여러 통계적 방법을 사용하여 정량화할 수 있습니다. 

IMU 데이터는 종종 지형 분류에 사용됩니다. 자동차에 장착된 IMU 센서는 도로의 거칠기를 추정하거나 도로의 요철을 감지하는 데 사용됩니다. 

B. Learning Methods

학습 기반 방법은 일반적으로 환경을 해석하기 위해 Semantic Understanding 을 얻는 것을 목표로 하지만, Traversability Cost Regression 에도 사용할 수 있습니다. 가장 일반적인 Application 은 환경의 Classification 또는 Segmentation 입니다. 포인트 클라우드 장면은 도로, 자갈, 모래, 잔디와 같은 다른 클래스로 Semantic 하게 분류됩니다. 둘 다 클래스 내의 변동이 상당히 높을 수 있으며 Traversable 한 클래스에서 지형이 얼마나 지나기 어려운지에 관한 정보가 제공되지 않습니다. 
이에 반해, 본 논문이 제안하는 모델은 포인트 클라우드 데이터에서 연속적으로 지형에 대한 Traversability Cost 를 에측합니다. 

 

Methodology

 

이 섹션에서는 데이터 추출에서 SRE 및 LRE 용 NN 아키텍쳐까지 전체 학습 파이프라인을 설명합니다. 또한 이러한 지형 분석 방법이 Local Path Planning 의 품질을 어떻게 향상시키는 지 설명합니다. 마지막으로 두 가지 방법을 모두 사용하여 Global Path Planning 을 위한 두 개의 연속적인 Cost map 을 제작하는 방법을 설명합니다. 

A. Prediction of the IMU Cost with a Convolutional-LSTM Network

본 논문에서는 포인트 클라우드 패치를 통해 IMU Cost 를 예측합니다. NN은 수동으로 운전하는 차량에 의해 습득된 데이터로 Self-supervised Learning 을 수행합니다. 

1) 데이터 추출

차량의 발자국보다 약간 큰 포인트 클라우드 패치 (이 경우 3m x 2m) 를 추출하고, 차량이 해당 패치를 통과할 때 획득한 해당 IMU 데이터와 쌍을 이룹니다. 데이터 기록 중에 C-SLAM 알고리즘은 궤적 T, 포인트 클라우드 P 및 관성 데이터 I 의 세 가지 정보 유형에 대한 좌표 프레임을 정렬합니다. 

a) Down-casting

포인트 클라우드 패치는 NN 처리의 일부인 Convolution 필터를 적용하기 전에 다중 채널 이미지로 Flatten 됩니다. 패치의 각 포인트는 이미지에서 가장 가까운 픽셀에 할당됩니다. 이미지의 밝기 값은 3D 포인트의 높이 값에 해당합니다. 

모든 픽셀에 포인트가 할당되지 않을 수 있으므로 피라미드 방식이 구현됩니다. 서로 다른 해상도의 세 이미지가 쿼리됩니다. 

가장 높은 해상도 이미지의 픽셀이 비어 있으면 다음으로 가장 낮은 해상도 이미지의 값이 대신 사용됩니다. 빈 픽셀이 보간되기 때문에 최저 해상도 이미지의 픽셀은 비어 있지 않습니다. 

b) IMU Transformation

각 이미지는 지형의 이산적인 Snapshot 인 반면, IMU 세그먼트는 연속적인 신호입니다. IMU 변환의 목적은 후처리 없이 사용할 수 있는 하나의 Traversability Score 로써 이미지에 레이블을 지정하기 위함입니다. 

본 논문에서는 x와 y의 각속도와 z의 선형 가속도(각각 ωx, ωy, az로 표시됨)로 구성된 결합된 IMU 비용 C를 제안합니다.

패치당 IMU 비용이 필요하므로 Cr 의 평균값이 계산됩니다. 

2) Deep 2D-Convolutional-LSTM Network

IMU 값으로부터 Traversability Cost 를 예측하기 위해 그림과 같은 네트워크를 사용합니다. 

포인트 클라우드 패치가 이미지로 변환되기 때문에 Conv 레이어가 사용됩니다. 포인트 클라우드 패치와 IMU 세그먼트는 로봇 궤적에서 추출되므로 인접한 샘플은 유사하다고 볼 수 있습니다. 따라서 전체적인 시퀀스를 NN에 공급하면 성능이 크게 향상됩니다. 

특히 거친 지형에서는 IMU 신호는 속도에 크게 의존하기 때문에 속도는 네트워크에 대한 side input 으로 제공됩니다. 속도는 Activation layer 를 통해서 합쳐지며, 완전 연결 레이어에서는 Feature map 으로의 변환을 학습하게 됩니다. 

B. Local Terrain Analysis 

궤적당 3개의 패치 프레임이 할당되고 Travesability Cost 는 다음 두 가지 방법 중 하나로 계산됩니다. 

1) SRE : RANSAC 알고리즘을 사용하여 실시간으로 각 패치에서 normal vector 를 계산합니다. 
2) LRE : 각 패치를 이미지로 다운캐스팅하고, 궤적의 이미지 시퀀스를 NN 에 공급합니다. 네트워크는 이미지 시퀀스와 길이가 동일한 궤적당 C 를 예측합니다. 
모든 비용은 정규화됩니다. 가장 Accessible 한 지형이 있는 곳이 선택되어야 하기 때문에, 이런 Cost 는 4차 다항식으로 회귀되며 궤적당 최종 비용은 지형 비용과 유클리드 거리 비용 간의 사용자 정의 가중 평균입니다. 

C. Map Generation

이 섹션에서는 SRE 와 LRE 를 모두 사용하 Global Cost map 을 생성하는 방법에 대해서 설명합니다. 두 알고리즘에 대한 입력은 C-SLAM 에 의해 생성된 글로벌 포인트 클라우드이며, 20cm x 20cm 의 셀로 세분됩니다. Cost 의 범위는 0 (여유 공간) ~ 255 (장애물) 입니다. 

 

 

Results

 

이 섹션에서는 실험의 주요 결과를 제시합니다. 

A. Neural Network Accuracy

NN 성능은 실측값 Cr에 대한 예측 비용 Cp와 비용 신호 C 간의 비교를 기반으로 합니다. NN은 119328개의 이미지에서 훈련되며 90% 훈련 데이터와 10% 검증 데이터로 나뉩니다. NN 평가는 12557개 지형 이미지의 추가 테스트 세트에서 수행됩니다.

예측 Cp와 C 간의 상관 관계는 0.88이고 Cr에 대한 상관 관계는 0.71입니다.

 

Conclusion

 

본 논문에서는 Traversability 를 나타내는 Continuous 한 Cost map 을 사용하였습니다. 이 정보는 안전하고 원활하고 에너지 효율적인 운행을 위한 Local 및 Global Path Planning 에 사용됩니다. 

Cost map 생성을 위해서 통계적 접근 방식과 학습 기반 접근 방식의 두 가지 방법을 모두 적용하여, 비교 기준으로 기존의 이진 Cost map 을 사용했습니다. 

결과는 두 가지 연속 접근 방식이 로컬 또는 글로벌 계획에 성공적으로 적용할 수 있을 만큼 일반적이라는 것을 보여줍니다. 두 가지 연속 접근 방식은 목표까지의 유클리드 거리에만 의존하는 궤적보다 유사한 성능을 얻고 훨씬 더 나은 결과를 산출합니다.