Adverse Conditions Dataset with Correspondences https://acdc.vision.ee.ethz.ch/ ACDC Dataset acdc.vision.ee.ethz.ch ACDC 데이터셋은 다양한 시각적 조건에서의 semantic segmentation 을 위한 대규모 데이터셋입니다. 이 데이터셋에는 안개, 밤, 비, 눈과 같은 네 가지 일반적인 조건 각각에 대해 균등하게 분포된 4006 개의 이미지가 포함되어 있습니다. 사용 목적 semantic segmentation object detection panoptic segmentation ACDC dataset 의 파일 트리 rgb_anon_trainvaltest 크기 : 15.6 GB 익명화된 악조건 이미지 (An..

Spatial Attention 은 Case study 로 , 해당하는 논문들을 살펴보며 진행하겠습니다. 목차 Spatial Attention STN : Spatial Transformer Networks GENet : Gather - Excite : Exploiting Feature Context in Convolutional Neural Networks RAN : Residual Attention Network Spatial + Temporal Attention CBAM : Convolutional Block Attention Module Spatial Transformer Networks (STN) Introduce a new learnable module, the Spatial Transforme..

Transformer 는 Attention 기반의 아키텍쳐입니다. 그렇다면 Attention 이란 무엇일까요 ? 기계 학습을 위해 다양한 학습 방법이 강구되어오고 있지만, 사람이 어떤 식으로 학습하는지를 관찰하고 이를 모방하는 것으로 많은 연구들이 진행되어오고 있습니다. 이때, 사람은 어떤 것에 "주목" 하는 것을 자연스럽게 하고, 이것이 학습에 매우 중요합니다. 우리는 정보를 모두 동일한 중요도로 처리하지 않고, 강조해야 할 특정 부분에 주목함으로써 한정된 brain resource 의 효율성을 높입니다. 따라서 딥러닝에서도 어텐션을 통해 특정 information 에 가중치를 둠으로써 정해진 리소스를 효율적으로 사용하고, 추가적으로 noise 를 저감하는 효과가 있습니다. Attention 그렇다면 ..

https://github.com/unmannedlab/RELLIS-3D GitHub - unmannedlab/RELLIS-3D: RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics - GitHub - unmannedlab/RELLIS-3D: RELLIS-3D: A Multi-modal Dataset for Off-Road Robotics github.com RELLIS-3D 는 학습을 위한 train dataset 으로 annotated ply 파일을 제공합니다. 다음 링크에서 해당 파일을 다운로드 받을 수 있습니다. CloudCompare 에서 확인을 해 보..

1.  문제 상황 : Sparse Point Cloud RELLIS-3D 데이터셋의 포인트 클라우드를 다루던 도중, 일정 거리 이상으로 멀어지면 포인트 클라우드가 너무 Sparse 해 져서 문제가 자꾸 발생했습니다.   위 이미지는 포인트 클라우드를 Heightmap 이미지로 바꾼 것을 해당 위치에 재구성한 것입니다. 센서에서 멀어질 수록 포인트가 적어지는 것을 볼 수 있습니다. 따라서 이런 "Sparse Point Cloud" 문제를 해결하기 위해서 다양한 방법들이 제시되고 있습니다. 대표적으로는 다음과 같은 방법들이 있습니다.  1) interpolation : K-NN 등을 사용하여 주변의 다른 데이터 포인트를 사용하여 누락된 데이터를 채워 넣는 기술입니다. 2) Octree / KD-Tree 구조..

How Rough Is the Path? Terrain Traversability Estimation for Local and Global Path Planning Gabriel Günter Waibel, Tobias Löw, Mathieu Nass, David Howard, Tirthankar Bandyopadhyay, and Paulo Vinicius Koerich Borges 2022 IEEE Transaction Abstract 지형에 대한 인식과 해석은, 지형 특성이 매우 가변적일 수 있는 (Highly variable) 오프로드 지역의 로봇 내비게이션에서 필수적입니다. 경로를 계획할 때는 지형 경사도 및 거칠기와 같은 기능을 고려해야 하며 이는 Traversability Cost 에 반영되..

ELP 스테레오 카메라를 써 보았습니다. https://www.aliexpress.us/item/3256805491174881.html?gatewayAdapt=kor2usa4itemAdapt https://www.aliexpress.us/item/3256805491174881.html?gatewayAdapt=kor2usa4itemAdapt Welcome to AliExpress! Sign Out Register Sign in My Orders My Coins Message Center Payment Wish List My Coupons www.aliexpress.us 사양 Resolution : 1920 x 1200 FOV : 120도 이 카메라는 특이하게 Left, Right 이미지가 따로 들어오는 게..

FPFH (Fast Point Feature Histogram) 이전 포스팅 (https://zzziito.tistory.com/46) 에서 소개했던 PFH 에서 문제가 되는 부분이 여러 개 있었습니다. 우선 PFH 는 특정 포인트와 그 Vicinity 에 대해서 Quadreplet 을 만들기 때문에 \(O(nk^{2})\) 의 시간 복잡도를 가지게 됩니다. 즉, 프로세싱 시간이 굉장히 깁니다. 따라서 이런 높은 시간복잡도 문제를 해결하기 위해서 PFH 의 개선된 버전으로 FPFH 가 고안되었습니다. 새로 도입된 여러 장치들 덕분에 FPFH 의 시간복잡도는 \(O(nk)\) 로 한층 낮아졌습니다. 이렇게 낮아진 시간복잡도의 가장 큰 원인은, FPFH 는 fully-interconnect 되어 있지 않다는..

Registration (정합) 을 수행할 때 ICP (Iterative Closest Point) 를 사용하는 경우에는 "포인트들간의 매칭 정보를 알 필요가 없다" 라는 장점이 있었습니다. 하지만 이 방법은 초기 포즈가 어느 정도 정확하지 않으면 Registration 이 잘 되지 않는다는 단점이 있습니다. 이때 Point Cloud 에서 대응점을 구하기 위해서 사용하는 것이 Descriptor 입니다. 이미지도 Descriptor 가 있듯이 Point cloud 에도 Feature Point 와 Descriptor (기술자) 가 있습니다. 3D Feature Matching 을 통해서 할 수 있는 것 Classification Registration Pose Estimation 2D Feature ..

이전 포스팅 (https://zzziito.tistory.com/43) 에서도 언급했듯이, Stereo Matching 을 이용하면 이론상으로는 두 장의 이미지를 통해 3차원을 복원할 수 있습니다. Python, OpenCV, Open3D 를 이용하여 2장의 이미지로 3차원을 복원하는 예제를 통해 과정을 더 자세히 살펴보도록 하겠습니다. (전체 코드는 글 하단에 있습니다.) 과정 1. Undistortion 2. Rectification 3. Disparity Map 얻기 4. Disparity map 을 Depth map 으로 바꾸기 5. Depth Map 을 이용한 Point Cloud reconstruction Undistortion 카메라 왜곡을 먼저 펴주기 위해 Undistortion 을 수행합..

저렴한 RGBD 카메라를 찾고 계신가요 ? https://ko.aliexpress.com/item/1005004788630548.html? https://ko.aliexpress.com/item/1005004788630548.html? AliExpress.com에 오신것을 환영합니다 로그아웃 회원가입 로그인 내 주문 내 코인 메시지 센터 결제 위시리스트 내 쿠폰 ko.aliexpress.com 이 제품은 아무래도 ASUS 에서 판매하는 RGB 카메라인 Xtion Pro 에서 모듈만 따로 빼서 파는 제품인 것 같습니다. https://www.asus.com/kr/supportonly/xtion%20pro%20live/helpdesk_bios/ Xtion PRO LIVE - 지원 버전 5.8.22 2.15 ..

Disparity Disparity (양안 시차) 는 Stereo Vision 의 핵심 개념입니다. 다음 사진과 같이, 가까이 있는 물체일 수록 Left - Right 간의 위치 차이가 커지게 됩니다. 따라서 Disparity 는 Depth 와 반비례한다는 것을 알 수 있습니다. Triangulation Triangulation 은 이미지 상의 포인트를 3차원으로 복원할 때 사용됩니다. 3차원 복원을 위해서 필요한 정보는 다음과 같습니다. 1. 두 카메라 사이의 Rotation / Translation 2. 카메라 intrinsic parameter 3. 두 픽셀이 "같은 것인지" 알기 (Correspondences) 따라서 우리는 Triangulation 을 통해서 Disparity 를 이용해 Dept..