Attention in Vision Attention 을 CV 에 적용하기 위해서 다양한 방법들이 시도되어져 왔습니다. 이 그림은 "Stand - Alone Self-Attention in Vision Models" 라는 논문에 나오는 그림인데, 어떤 값을 낼 때 Convolution 을 하는 게 아니라, 가운데 있는 픽셀 값을 Query 로 날리고 Key 는 Fully connected로 학습해서 만들고, Value도 곱해서 만들어서 Self-attention 을 하기는 했습니다. 다만 이 구조도 CNN 의 Locality 를 극복하지는 못 했습니다. 그 다음에는 NLP의 word 대신 pixel 을 넣는 네트워크들이 제안되기는 했는데, 메모리 사용량이 너무 많다는 단점이 있었습니다. 원리상으로는 pi..

트랜스포머 Transformer 1. 구조 Multi-head self-attention Feed-forward network Layer normalization Shortcut connection Positional encoding 2. Advantages of Transformer Long - range relationship : Attention 덕분에 (이전 포스팅 : Non-local Filter 참조) Parallelized computing : Multi-head self attention 이 병렬화를 가능하게 함. Capacity for big data : 파라미터가 엄청 많다 ( = 모델이 크다, 학습 시간이 길다) 3. Transformer 의 구성 트랜스포머는 인코더와 디코더로 구성되..

Self Attention 까지 가기 위해서는 거쳐야 할 관문들이 조금 있습니다. Self Attention 이 나오게 된 배경, 그리고 이 많은 연구들 사이에서 Self Attention 이 어떤 위치에 있는지까지 알기 위해서, 먼저 Image Denoising 의 역사를 살펴볼 필요가 있습니다. Image Denoising 실제와 다른 신호가 노이즈입니다. 이런 노이즈를 제거하기 위해, 예전에 사용하던 방법은 필터를 적용하는 것이었습니다. Box Filter, Gaussian Filter, Median Filter 등을 사용하는 이런 필터들의 공통점은 한 가지 가정을 따릅니다. 그것은 바로 "포인트의 값은 이웃들과 유사할 것이다" 라는 가정입니다. 다만 이런 가정은, 하늘이나 벽 처럼 Homogene..

지난 번에 사용했던 Warthog 로봇과는 달리, Husky 로봇 시뮬레이터에는 IMU가 탑재되어 있어서 따로 urdf 를 수정해 줄 필요가 없습니다. (야호) 다음과 같이 Husky robot 을 Gazebo 에 불러와주고 조종할 수 있게 $ rosrun teleop_twist_keyboard teleop_twist_keyboard.py rostopic list 로 토픽을 확인해 보면 다음과 같이 토픽이 있는 것을 확인할 수 있습니다. /clock /cmd_vel /diagnostics /e_stop /gazebo/link_states /gazebo/model_states /gazebo/parameter_descriptions /gazebo/parameter_updates /gazebo/performa..

Adverse Conditions Dataset with Correspondences https://acdc.vision.ee.ethz.ch/ ACDC Dataset acdc.vision.ee.ethz.ch ACDC 데이터셋은 다양한 시각적 조건에서의 semantic segmentation 을 위한 대규모 데이터셋입니다. 이 데이터셋에는 안개, 밤, 비, 눈과 같은 네 가지 일반적인 조건 각각에 대해 균등하게 분포된 4006 개의 이미지가 포함되어 있습니다. 사용 목적 semantic segmentation object detection panoptic segmentation ACDC dataset 의 파일 트리 rgb_anon_trainvaltest 크기 : 15.6 GB 익명화된 악조건 이미지 (An..

Spatial Attention 은 Case study 로 , 해당하는 논문들을 살펴보며 진행하겠습니다. 목차 Spatial Attention STN : Spatial Transformer Networks GENet : Gather - Excite : Exploiting Feature Context in Convolutional Neural Networks RAN : Residual Attention Network Spatial + Temporal Attention CBAM : Convolutional Block Attention Module Spatial Transformer Networks (STN) Introduce a new learnable module, the Spatial Transforme..

Transformer 는 Attention 기반의 아키텍쳐입니다. 그렇다면 Attention 이란 무엇일까요 ? 기계 학습을 위해 다양한 학습 방법이 강구되어오고 있지만, 사람이 어떤 식으로 학습하는지를 관찰하고 이를 모방하는 것으로 많은 연구들이 진행되어오고 있습니다. 이때, 사람은 어떤 것에 "주목" 하는 것을 자연스럽게 하고, 이것이 학습에 매우 중요합니다. 우리는 정보를 모두 동일한 중요도로 처리하지 않고, 강조해야 할 특정 부분에 주목함으로써 한정된 brain resource 의 효율성을 높입니다. 따라서 딥러닝에서도 어텐션을 통해 특정 information 에 가중치를 둠으로써 정해진 리소스를 효율적으로 사용하고, 추가적으로 noise 를 저감하는 효과가 있습니다. Attention 그렇다면 ..

https://github.com/unmannedlab/RELLIS-3D GitHub - unmannedlab/RELLIS-3D: RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics - GitHub - unmannedlab/RELLIS-3D: RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics github.com RELLIS-3D 는 학습을 위한 train dataset 으로 annotated ply 파일을 제공합니다. 다음 링크에서 해당 파일을 다운로드 받을 수 있습니다. CloudCompare 에서 확인을 해 보..

1.  문제 상황 : Sparse Point Cloud RELLIS-3D 데이터셋의 포인트 클라우드를 다루던 도중, 일정 거리 이상으로 멀어지면 포인트 클라우드가 너무 Sparse 해 져서 문제가 자꾸 발생했습니다.   위 이미지는 포인트 클라우드를 Heightmap 이미지로 바꾼 것을 해당 위치에 재구성한 것입니다. 센서에서 멀어질 수록 포인트가 적어지는 것을 볼 수 있습니다. 따라서 이런 "Sparse Point Cloud" 문제를 해결하기 위해서 다양한 방법들이 제시되고 있습니다. 대표적으로는 다음과 같은 방법들이 있습니다.  1) interpolation : K-NN 등을 사용하여 주변의 다른 데이터 포인트를 사용하여 누락된 데이터를 채워 넣는 기술입니다. 2) Octree / KD-Tree 구조..

How Rough Is the Path? Terrain Traversability Estimation for Local and Global Path Planning Gabriel Günter Waibel, Tobias Löw, Mathieu Nass, David Howard, Tirthankar Bandyopadhyay, and Paulo Vinicius Koerich Borges 2022 IEEE Transaction Abstract 지형에 대한 인식과 해석은, 지형 특성이 매우 가변적일 수 있는 (Highly variable) 오프로드 지역의 로봇 내비게이션에서 필수적입니다. 경로를 계획할 때는 지형 경사도 및 거칠기와 같은 기능을 고려해야 하며 이는 Traversability Cost 에 반영되..

ELP 스테레오 카메라를 써 보았습니다. https://www.aliexpress.us/item/3256805491174881.html?gatewayAdapt=kor2usa4itemAdapt https://www.aliexpress.us/item/3256805491174881.html?gatewayAdapt=kor2usa4itemAdapt Welcome to AliExpress! Sign Out Register Sign in My Orders My Coins Message Center Payment Wish List My Coupons www.aliexpress.us 사양 Resolution : 1920 x 1200 FOV : 120도 이 카메라는 특이하게 Left, Right 이미지가 따로 들어오는 게..

FPFH (Fast Point Feature Histogram) 이전 포스팅 (https://zzziito.tistory.com/46) 에서 소개했던 PFH 에서 문제가 되는 부분이 여러 개 있었습니다. 우선 PFH 는 특정 포인트와 그 Vicinity 에 대해서 Quadreplet 을 만들기 때문에 \(O(nk^{2})\) 의 시간 복잡도를 가지게 됩니다. 즉, 프로세싱 시간이 굉장히 깁니다. 따라서 이런 높은 시간복잡도 문제를 해결하기 위해서 PFH 의 개선된 버전으로 FPFH 가 고안되었습니다. 새로 도입된 여러 장치들 덕분에 FPFH 의 시간복잡도는 \(O(nk)\) 로 한층 낮아졌습니다. 이렇게 낮아진 시간복잡도의 가장 큰 원인은, FPFH 는 fully-interconnect 되어 있지 않다는..