*이전 포스팅 (https://zzziito.tistory.com/77) 과 이어집니다. SVD : Singular Value Decomposition SVD(특이값 분해) 란 ? 복잡한 행렬을 간단한 구성 요소로 분해하는 방법. SVD의 핵심은 행렬 A를 구성하는 데이터의 '특징'을 추출하는 데 있다. 여기서 U, V 는 Orthogonal (모든 basis 가 직교하고 크기가 1임) 이다. 또한 sigma 행렬은 1) 대각행렬에 위치한 singular value 를 제외한 요소가 다 0이고, 2) 이 singular value 를 제곱하면 eigen value 가 된다. 3) 이 singular value 들은 내림차순으로 정렬되어 있다. 우리는 Ax=0 의 답을 찾기 위한 방법으로 SVD 를 사용한..

Homography 는 image stitching 을 할 때 많이 쓰입니다. (굉장히 많이 쓰이는 중요한 개념이지만, 일단은 image stitching 으로 시작해 봅시다. ) image stitching 은 여러 장의 사진을 이어 붙이는 작업으로, 파노라마 이미지를 만들 때 사용됩니다. 이런 파노라마 이미지를 만들 때에는 어떤 방법들이 사용될 수 있을까요 ? 매우 넓은 FoV 를 가진 렌즈를 사용한다 - 이 방법의 단점은 이미지 왜곡이 일어나고, FoV 가 200도를 넘기기 어렵고, 비쌉니다. 여러 장을 찍어서 이어 붙인다. 그러려면 여러 장의 이미지들의 관계에 대해서 알아야 하고, 이때 사용되는 것이 특징점입니다. 앞으로도 LiDAR 를 사용하지 않고 2D 이미지에서 3D reconstructio..

이전 포스팅 (https://zzziito.tistory.com/43) 에서도 언급했듯이, Stereo Matching 을 이용하면 이론상으로는 두 장의 이미지를 통해 3차원을 복원할 수 있습니다. Python, OpenCV, Open3D 를 이용하여 2장의 이미지로 3차원을 복원하는 예제를 통해 과정을 더 자세히 살펴보도록 하겠습니다. (전체 코드는 글 하단에 있습니다.) 과정 1. Undistortion 2. Rectification 3. Disparity Map 얻기 4. Disparity map 을 Depth map 으로 바꾸기 5. Depth Map 을 이용한 Point Cloud reconstruction Undistortion 카메라 왜곡을 먼저 펴주기 위해 Undistortion 을 수행합..

Disparity Disparity (양안 시차) 는 Stereo Vision 의 핵심 개념입니다. 다음 사진과 같이, 가까이 있는 물체일 수록 Left - Right 간의 위치 차이가 커지게 됩니다. 따라서 Disparity 는 Depth 와 반비례한다는 것을 알 수 있습니다. Triangulation Triangulation 은 이미지 상의 포인트를 3차원으로 복원할 때 사용됩니다. 3차원 복원을 위해서 필요한 정보는 다음과 같습니다. 1. 두 카메라 사이의 Rotation / Translation 2. 카메라 intrinsic parameter 3. 두 픽셀이 "같은 것인지" 알기 (Correspondences) 따라서 우리는 Triangulation 을 통해서 Disparity 를 이용해 Dept..

두 장의 이미지로 3D 를 복원하기 위해 알아야 하는 카메라 매트릭스 이미지를 통해서 3차원 포인트를 복원하기 위해서는 1) 2d 이미지 위 특징점 사이의 매칭 정보 2) 해당 카메라 pose 사이의 자세 정보 (Rotation / Translation) 정보 를 알아야 합니다. 이때 Epipolar Geometry 에 의해서 , P 점에 대응되는 매칭점의 후보군은 Epipolar Line 위에서 찾을 수 있습니다. Intrinsic , Extrinsic Matrix 카메라 파라미터는 Extrinsic Matrix, Intrinsic Matrix 로 구성됩니다. Extrinsic Matrix 는 World 좌표계의 3차원 포인트를 나의 카메라 좌표계로 옮기는 매트릭스입니다. 따라서 해당 Rotation ..