Realsense D405https://www.intelrealsense.com/depth-camera-d405/ Depth Camera D405Depth camera D415 has a narrower field of view, a rolling shutter that are ideally suited for high accuracy applications such as 3D scanning.www.intelrealsense.com일반적으로 쓰이는 Realsense D435i는 max range가 좀 더 긴 대신, 근거리에서 깊이 측정 정확도가 높지 않다. 하지만 먼 곳은 별로 볼 필요 없고 가까운 걸 좀 더 정확하게 보고 싶다면 D405가 선택지가 될 수 있다. Lighting condition : ..

Android Debug Bridge 사용하여 모델 성능을 모니터링하고, 이 결과를 토대로 모델을 개선하기이때까지 진행한 과정(RKNN 모델 변환, 경량화, inference)에는 다만 약간의 문제가 있습니다. 변환은 리눅스 컴퓨터에서 진행하고, 파일을 오렌지 파이로 옮겨서 inference 만 수행하고 결과를 살펴본 것입니다. 매번 모델을 변환하고, 옮겨서 inference하기란 정말 귀찮은 일입니다. 또한, 귀찮은 것 보다 문제는 오렌지 파이 자체에는 rknn-toolkit2-lite만 사용할 수 있기 때문에, rknn-toolkit2에서 제공하는 모델 성능 평가 메소드를 사용할 수 없습니다. Performance Evaluation 기능을 사용하기 위해서는 ADB 모드로 오렌지 파이를 사용하는 것이..

pt, onnx 모델을 rknn 형태로 변환하기예를 들어 YOLO를 오렌지 파이에서 구동하고 싶고, 가지고 있는 것은 ONNX 파일이라고 하면 우리는 다음과 같은 단계로 ONNX 파일을 rknn 파일로 변환할 수 있습니다.rknn 객체 생성configuration 정의ONNX 모델 loadrknn 모델 buildrknn 모델 exportCode와 함께 따라하기rknn_model_zoo yolov5 example rknn_model_zoo/examples/yolov5/python/convert.py at main · airockchip/rknn_model_zooContribute to airockchip/rknn_model_zoo development by creating an account on GitH..

RKNN SDK 설치하기rknn-toolkit2는 x86 계열 리눅스 컴퓨터에 설치하는 것을 권장합니다. (arm 계열 지원하지 않음)$ mkdir rknn_project $ git clone https://github.com/airockchip/rknn-toolkit2.git$ conda create -n rknn python=3.8$ conda activate rknn$ pip3 install -r rknn-toolkit2/packages/requirements_cp38.txt$ pip3 install rknn-toolkit2/packages/rknn_toolkit2-2.0.0b0+9bab5682-cp38-cp38-linux_x86_64.whl설치를 완료하면 $ python3>> from rknnli..

단돈 15만원짜리 NPU가 탑재된 싱글보드 컴퓨터에서 딥러닝 모델을 inference 할 수 있도록로봇에서 가벼운 딥러닝 모델을 사용하기 위해서 Orange Pi NPU를 최적화하는 작업을 몇 달간 집중적으로 한 적이 있었는데, RKNN 관련 한글 문서는 거의 없어서 삽질을 많이 했습니다. 경험과 나름의 노하우를 나누고 싶어 정리해보았습니다.https://zito.gitbook.io/rknn_usermanual 1. RKNN이란? | RKNN Cookbook단돈 15만원짜리 NPU가 탑재된 싱글보드 컴퓨터에서 딥러닝 모델을 inference 할 수 있도록zito.gitbook.io이 Gitbook의 내용과 동일한데, Gitbook이 좀 더 보기 쉽게 정리되어 있습니다. (작성 중) 목차0. RKNN이란 ..

ROS Noetic에서 개발한 패키지를 ROS Melodic에서 실행할 때 종종 cvBridge error를 마주하게 된다.  ImportError: dynamic module does not define module export function (PyInit_cv_bridge_boost) Noetic은 그냥 pip3 install cv_bridge를 해 주면 문제 없이 cvBridge를 쓸 수 있지만 Melodic은 그렇지 않나 보다.  나의 경우에는 conda 환경의 Python3를 쓰고 있기도 해서, Melodic + Conda python3 + cvBridge를 함께 써 주려면 다음과 같은 추가적인 설정이 필요하다.   Python3용 cv_bridge 빌드 anaconda python3 환경 위..

현재 만들고 있는 패키지들은 시스템 설치 패키지에 큰 Dependency를 가지고 있습니다. 디펜던시를 맞춰주는 데만 반나절 이상 소요될 정도이므로, 이 환경 자체를 이미지로 만들어서 이 다음부터는 Docker Container로 접속할 수 있도록 하려고 합니다.  환경 설정제가 재현하고자 하는 시스템의 상세는 다음과 같습니다. Ubuntu 22.04gRPCrknn-toolkit-lite2OpenCVCMake등등... Dockerfile 만들기 Dockerfile은 도커 이미지를 생성하기 위한 텍스트 파일입니다. 이 파일은 이미지를 어떻게 구축할 지에 대한 정보를 포함하고 있고, 일관된 환경을 재현할 수 있도록 해 줍니다.  Dockerfile을 만드는 데는 크게 두 가지 방식이 있습니다.  Docker..

JetPack은 NVIDIA의 AI 컴퓨팅 플랫폼을 위한 소프트웨어 개발 키트(SDK)로, 리눅스 드라이버 패키지(L4T), CUDA, cuDNN, TensorRT와 같은 필수 라이브러리 및 API가 포함되어 있습니다.  Nvidia Orin NX에 Jetpack 6.0 (최신버전)을 설치하려면 다음과 같은 과정을 따라야 합니다.  1. Host PC에 Jetson SDK Manager 설치2. Orin에 Power를 넣고 (usb-c), 오린과 Host pc를 연결 (usb-c)3. 오린을 Recovery mode로 부팅 : 2번 버튼을 누르고 3번 버튼을 누르고 둘을 동시에 떼기 4. sdk manager 실행 후 target hardware에서 오린이 검색되는지 확인 여기까지는 쉬운데, 그 다음이 ..

YDLidar ROS Youtube 시연 세팅은 링크 참고하기 튜토리얼 catkin_ws/src 폴더 내에 깃 레포지토리를 복사한다. $ git clone https://github.com/YDLIDAR/ydlidar_ros catkin_make 를 실행한다. 라이다 모델명에 맞는 launch 파일을 수정한다. ``` ydlidar 을 ttyUSB0 로 바꾸고 laser_scan 부분을 base_scan 으로 바꾼다. 만약에 다른 ydlidar 을 사용한다면 다음 표를 참고해서 baudrate 를 설정해 주어야 한다. roslaunch 해 준다. roslaunch ydlidar_ros X4.launchError usb 포트 연결 불가 Error, cannot bind to the specified ser..

Azure Kinect depth camera streaming o3d.geometry.PointCloud.create_from_rgbd_image() 와 o3d.visualization.draw_geometries() 를 이용하여 생성한 point cloud Ubuntu 에서 Azure Kinect 사용 환경 세팅하기 Install Azure Kinect SDK on Ubuntu 먼저 SDK 를 먼저 설치합니다. 이 과정에서 생기는 에러를 해결하는 방법은 하단의 Troubleshooting 부분을 참고해 주세요. 같은 폴더 내에 default_config.json 파일이 있어야 한다는 점을 유의해 주세요. Troubleshooting Azure Kinect 를 Ubuntu 환경에서 사용하도록 세팅하는 ..

Intel Realsense Install Pyrealsense2 in your Ubuntu desktop Intel Realsense Github pyrealsense2 패키지는 Realsense 카메라를 Python 으로 제어할 수 있는 패키지입니다. 본 프로젝트에서는 직접 데이터를 다루기 위해 SDK 가 아닌, wrapper 를 사용합니다. 'pip install pyrealsense2' command 는 Ubuntu, macOS 에서는 제공되지 않습니다. macOS 에서 사용하는 것보다, Ubuntu 에서 사용하는 것이 더 쉬울 수 있습니다. Ubuntu 에 설치를 위해서는 링크 를 참고해 주세요. $ sudo apt-get install -y git libssl-dev libusb..

Velodyne VLP-16 3d Lidar Setting Velodyne Puck VLP16 을 구동하려면 패키지 구성상품 말고 추가로 110V 변압기 (돼지코) 와 ethernet 젠더가 필요합니다. 관련 내용은 벨로다인 세팅을 참고하세요. Veloview ROS Rviz 개발환경 세팅 ROS 환경에서 VLP16 사용하기 $ sudo apt-get install ros-melodic-velodyne $ cd catkin_ws/src $ git clone https://github.com/ros-drivers/velodyne $ cd .. $ catkin_make $ sudo ifconfig eth0 192.168.3.100 $ cd catkin_ws $ cd src $ roslaunch velodyn..