Latest Post
-
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle TraversabilityMateo Guaman Castro, Samuel Triest, Wenshan Wang, Jason M. Gregory, Felix Sanchez, John G. Rogers III, and Sebastian Scherer https://ieeexplore.ieee.org/abstract/document/10160856 ICRA 2023AbstractOff-road에서 terrain traversability를 학습하기 위한 label을 생성하는 것은 어렵다. 외부 센서가 주는 환경에 대한 정보와 내부 센서가 주는 terrain interaction f..
-
RoadRunner - Learning Traversability Estimation for Autonomous Off-road Driving
RoadRunner - Learning Traversability Estimation for Autonomous Off-road DrivingJonas Frey, Manthan Patel, Deegan Atha 1, Julian Nubert , David Fan, Ali Agha1, Curtis Padgett, Patrick Spieler, Marco Hutter, Shehryar Khattak https://arxiv.org/pdf/2402.19341Abstract고속의 오프로드 환경에서의 자율 주행은 로봇이 온보드 센서만을 사용해서 주변 환경을 종합적으로 이해해야 한다. 오프로드 환경이 가하는 극한의 조건은 이미지 품질 저하와 함께 고속 주행 시 LiDAR 센싱에서 얻을 수 있는 제한적이고 희박한 기..
-
PointNet : Deep Learning on Point Sets for 3D Classification and Segmentation
PointNet : Deep Learning on Point Sets for 3D Classification and SegmentationCharles R. Qi* Hao Su* Kaichun Mo Leonidas J. Guibas 2017 CVPR 기존의 Voxel 혹은 다중 뷰 접근법과 달리 원시 점 데이터를 그대로 사용하고, 입력 점들의 순서에 관계없이 동일한 결과를 출력하는 네트워크 구조 설계. 전역 특징과 로컬 특징을 결합하여 segmentation, object detection, clustering에서 높은 성능 달성. 핵심 method : 대칭 함수 사용, T-net을 사용하여 affine 변환 학습 AbstractPoint Cloud를 바로 신경망에 집어넣음object classific..
-
DreamWaQ : Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning
DreamWaQ : Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement LearningI Made Aswin Nahrendra, Byeongho Yu and Hyun Myung2023 IEEE ICRAAbstract사족보행 로봇은 구조화되지 않은 지형을 걸어갈 수 있는 동물과 유사하다. 하지만 사족보행 로봇을 위한 제어기를 설계하는 것은 매우 복잡하다. 최근에는 다리가 있는 동물들이 경험을 통해 걷는 법을 배우는 방식에서 영감을 얻은 심층 강화학습이 자연스러운 사족보행을 구현하는 데 사용되고 있다. 그러나 최신 방법들은 복잡하고 Reliable한 센싱 프레임워크에 크게 의존적이다. 게다..
-
Docker를 이용해서 개발 환경 이미지로 굽기
현재 만들고 있는 패키지들은 시스템 설치 패키지에 큰 Dependency를 가지고 있습니다. 디펜던시를 맞춰주는 데만 반나절 이상 소요될 정도이므로, 이 환경 자체를 이미지로 만들어서 이 다음부터는 Docker Container로 접속할 수 있도록 하려고 합니다. 환경 설정제가 재현하고자 하는 시스템의 상세는 다음과 같습니다. Ubuntu 22.04gRPCrknn-toolkit-lite2OpenCVCMake등등... Dockerfile 만들기 Dockerfile은 도커 이미지를 생성하기 위한 텍스트 파일입니다. 이 파일은 이미지를 어떻게 구축할 지에 대한 정보를 포함하고 있고, 일관된 환경을 재현할 수 있도록 해 줍니다. Dockerfile을 만드는 데는 크게 두 가지 방식이 있습니다. Docker..
-
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle Traversability
How Does It Feel? Self-Supervised Costmap Learning for Off-Road Vehicle TraversabilityMateo Guaman Castro, Samuel Triest, Wenshan Wang, Jason M. Gregory, Felix Sanchez, John G. Rogers III, and Sebastian Scherer https://ieeexplore.ieee.org/abstract/document/10160856 ICRA 2023AbstractOff-road에서 terrain traversability를 학습하기 위한 label을 생성하는 것은 어렵다. 외부 센서가 주는 환경에 대한 정보와 내부 센서가 주는 terrain interaction f..
-
RoadRunner - Learning Traversability Estimation for Autonomous Off-road Driving
RoadRunner - Learning Traversability Estimation for Autonomous Off-road DrivingJonas Frey, Manthan Patel, Deegan Atha 1, Julian Nubert , David Fan, Ali Agha1, Curtis Padgett, Patrick Spieler, Marco Hutter, Shehryar Khattak https://arxiv.org/pdf/2402.19341Abstract고속의 오프로드 환경에서의 자율 주행은 로봇이 온보드 센서만을 사용해서 주변 환경을 종합적으로 이해해야 한다. 오프로드 환경이 가하는 극한의 조건은 이미지 품질 저하와 함께 고속 주행 시 LiDAR 센싱에서 얻을 수 있는 제한적이고 희박한 기..
-
PointNet : Deep Learning on Point Sets for 3D Classification and Segmentation
PointNet : Deep Learning on Point Sets for 3D Classification and SegmentationCharles R. Qi* Hao Su* Kaichun Mo Leonidas J. Guibas 2017 CVPR 기존의 Voxel 혹은 다중 뷰 접근법과 달리 원시 점 데이터를 그대로 사용하고, 입력 점들의 순서에 관계없이 동일한 결과를 출력하는 네트워크 구조 설계. 전역 특징과 로컬 특징을 결합하여 segmentation, object detection, clustering에서 높은 성능 달성. 핵심 method : 대칭 함수 사용, T-net을 사용하여 affine 변환 학습 AbstractPoint Cloud를 바로 신경망에 집어넣음object classific..
-
DreamWaQ : Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning
DreamWaQ : Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement LearningI Made Aswin Nahrendra, Byeongho Yu and Hyun Myung2023 IEEE ICRAAbstract사족보행 로봇은 구조화되지 않은 지형을 걸어갈 수 있는 동물과 유사하다. 하지만 사족보행 로봇을 위한 제어기를 설계하는 것은 매우 복잡하다. 최근에는 다리가 있는 동물들이 경험을 통해 걷는 법을 배우는 방식에서 영감을 얻은 심층 강화학습이 자연스러운 사족보행을 구현하는 데 사용되고 있다. 그러나 최신 방법들은 복잡하고 Reliable한 센싱 프레임워크에 크게 의존적이다. 게다..
-
Docker를 이용해서 개발 환경 이미지로 굽기
현재 만들고 있는 패키지들은 시스템 설치 패키지에 큰 Dependency를 가지고 있습니다. 디펜던시를 맞춰주는 데만 반나절 이상 소요될 정도이므로, 이 환경 자체를 이미지로 만들어서 이 다음부터는 Docker Container로 접속할 수 있도록 하려고 합니다. 환경 설정제가 재현하고자 하는 시스템의 상세는 다음과 같습니다. Ubuntu 22.04gRPCrknn-toolkit-lite2OpenCVCMake등등... Dockerfile 만들기 Dockerfile은 도커 이미지를 생성하기 위한 텍스트 파일입니다. 이 파일은 이미지를 어떻게 구축할 지에 대한 정보를 포함하고 있고, 일관된 환경을 재현할 수 있도록 해 줍니다. Dockerfile을 만드는 데는 크게 두 가지 방식이 있습니다. Docker..
-
Nvidia Orin NX에 Jetpack 6.0 설치하기 : default ip is not available 문제 해결
JetPack은 NVIDIA의 AI 컴퓨팅 플랫폼을 위한 소프트웨어 개발 키트(SDK)로, 리눅스 드라이버 패키지(L4T), CUDA, cuDNN, TensorRT와 같은 필수 라이브러리 및 API가 포함되어 있습니다. Nvidia Orin NX에 Jetpack 6.0 (최신버전)을 설치하려면 다음과 같은 과정을 따라야 합니다. 1. Host PC에 Jetson SDK Manager 설치2. Orin에 Power를 넣고 (usb-c), 오린과 Host pc를 연결 (usb-c)3. 오린을 Recovery mode로 부팅 : 2번 버튼을 누르고 3번 버튼을 누르고 둘을 동시에 떼기 4. sdk manager 실행 후 target hardware에서 오린이 검색되는지 확인 여기까지는 쉬운데, 그 다음이 ..
-
이미지 세그멘테이션 결과를 이용해서 포인트 클라우드 복원하고 색칠하기 (Point cloud colorization using segmentation result)
본론만 보실 분은 "접근 2. depth_image_proc 사용하기"로 가기~ Task : 3D reconstruction을 진행할 때, segmentation result를 texture로 사용하기 접근 1 : ros2 realsense2_camera 패키지 이용개발 환경 : Ubuntu 22.04 ROS2 humble사용 장비 : Intel Realsense D435언어 : C++ https://github.com/IntelRealSense/realsense-ros/tree/ros2-legacy 이 Realsense ros2 패키지를 빌드한 후ros2 launch realsense2_camera rs_pointcloud_launch.py 를 실행하면 이런 st로 편하게~ 복원을 해 주는 런치파일..
-
로봇을 위한 저지연 통신 구축, gRPC (1) : gRPC를 사용하는 이유, 설치 방법
Why gRPC ? 다른 분야도 마찬가지이지만, 주행 중인 모바일 로봇은 안전상의 이유로 특히 초저지연 통신을 구축할 필요가 있습니다. (장애물 회피 등) 보통의 개발 로봇의 경우 ROS 1,2를 기반으로 이미지 데이터를 받아오고 이를 처리합니다. 하지만 범용성에 초점을 두고 개발된 ROS 통신 자체의 latency 때문에 상용 로봇 단계로 갈 수록 ROS가 아닌 커스텀 통신 패키지를 사용하여 더 빠른 통신 시스템을 구축하게 됩니다. gRPC는 프로토콜 버퍼를 직접 정의함으로써 사용자가 원하는 형태로 데이터를 보낼 수 있고, 인터페이스가 쉬우며 HTTP/2 기반으로 속도가 빠르기 때문에 gRPC를 이용하여 로봇 센서 데이터를 송수신하는 것은 다양한 측면에서 이점이 많습니다. Nvidia의 Triton..