Latest Post
-
Flow Matching for Generative Modeling
Flow Matching for Generative ModelingYaron Lipman and Ricky T. Q. Chen and Heli Ben-Hamu and Maximilian Nickel and Matt Lehttps://arxiv.org/abs/2210.02747 Flow Matching for Generative ModelingWe introduce a new paradigm for generative modeling built on Continuous Normalizing Flows (CNFs), allowing us to train CNFs at unprecedented scale. Specifically, we present the notion of Flow Matching (FM),..
-
Planning with Diffusion for Flexible Behavior Synthesis
Planning with Diffusion for Flexible Behavior SynthesisMichael Janner and Yilun Du and Joshua B. Tenenbaum and Sergey Levinehttps://arxiv.org/abs/2205.09991 Planning with Diffusion for Flexible Behavior SynthesisModel-based reinforcement learning methods often use learning only for the purpose of estimating an approximate dynamics model, offloading the rest of the decision-making work to classic..
-
Diffusion Policy:Visuomotor Policy Learning via Action Diffusion
Diffusion Policy : Visuomotor Policy Learning via Action DiffusionCheng Chi1, Siyuan Feng2, Yilun Du3, Zhenjia Xu1, Eric Cousineau2, Benjamin Burchfiel2, Shuran Song1https://diffusion-policy.cs.columbia.edu/ Diffusion Policy: Visuomotor Policy Learning via Action DiffusionThis paper introduces Diffusion Policy, a new way of generating robot behavior by representing a robot's visuomotor policy as..
-
LDP: A Local Diffusion Planner for Efficient Robot Navigation and Collision Avoidance
LDP: A Local Diffusion Planner for Efficient Robot Navigation and Collision AvoidanceWenhao Yu and Jie Peng and Huanyu Yang and Junrui Zhang and Yifan Duan and Jianmin Ji and Yanyong Zhanghttps://arxiv.org/abs/2407.01950 LDP: A Local Diffusion Planner for Efficient Robot Navigation and Collision AvoidanceThe conditional diffusion model has been demonstrated as an efficient tool for learning robo..
-
FiLM: Visual Reasoning with a General Conditioning Layer
FiLM: Visual Reasoning with a General Conditioning LayerEthan Perez and Florian Strub and Harm de Vries and Vincent Dumoulin and Aaron Courvillehttps://arxiv.org/abs/1709.07871 FiLM: Visual Reasoning with a General Conditioning LayerWe introduce a general-purpose conditioning method for neural networks called FiLM: Feature-wise Linear Modulation. FiLM layers influence neural network computation ..
-
Open Motion Planning Library(OMPL)를 사용해 경로 계산하고 시각화하기
OMPL 설치 후 로봇이 있는 scene 만들기collision-free 경로 계산하기계획된 경로 시각화하기Open Motion Planning Library(OMPL)https://ompl.kavrakilab.org/webapp.html OMPL Web AppUsage The OMPL web app is a web front end for motion planning and benchmarking using OMPL. Basic usage is very similar to the standalone GUI. Once deployed, this may be the easiest way to try out OMPL without to compile anything. Detailed instructions ..
-
Waypoint 정규화 시, 생각없는 min-max 정규화의 함정
러닝 기반으로 waypoint를 생성하는 모델을 학습할 때 당연히 나도 처음에는 min-max normalize를 했으나 왜인지 생성되는 경로가 일관되게 방향이 이상한 것을 확인했다. 그런데 문제는 몽땅 이런 건 아니고 방향이 정상적으로 나오는 샘플들도 있기는 해서 의문이었다. 그런데 샘플들을 공통적으로 살펴보니 Goal point가 1사분면에 있을 때만 멀쩡 경로로 나오는 것 같았다. 그러니까, 경로의 흐름은 괜찮은데 denormalize과정에서 생성된 경로가 모두 1사분면으로만 나오는 게 문제였다. def normalize_waypoints(waypoints, goal_point): # 모든 점들의 좌표를 첫 번째 점(0,0)에 대한 상대 좌표로 변환 relative_waypoints = ..
-
Potential Based Diffusion Motion Planning
Potential Based Diffusion Motion PlanningYunhao Luo1, Chen Sun1, Joshua B. Tenenbaum2, Yilun Du2https://energy-based-model.github.io/potential-motion-plan/ Potential Based Diffusion Motion PlanningEffective motion planning in high dimensional spaces is a long-standing open problem in robotics. One class of traditional motion planning algorithms corresponds to potential-based motion planning. An ..
-
Diffusion 기반 Navigation 논문 아카이브
참고)1. Navigation 태스크에서 Diffusion 사용 논문은 빨간색으로, Navigation 도메인은 아니지만 Diffusion 관련 주요한 논문들은 파란색으로2. 색상의 명도 ∝ 1/내가 열심히 읽은 정도 2020Denoising Diffusion Probabilistic Models(DDPM)https://arxiv.org/abs/2006.11239Jonathan Ho, Ajay Jain, Pieter Abbeel Motion Planning Transformers: One Model to Plan Them AllDiffusion Policy: Visuomotor Policy Learning via Action Diffusion 2021 2022 2023A Diffusion-Model ..
-
Realsense D405 사용하기
Realsense D405https://www.intelrealsense.com/depth-camera-d405/ Depth Camera D405Depth camera D415 has a narrower field of view, a rolling shutter that are ideally suited for high accuracy applications such as 3D scanning.www.intelrealsense.com일반적으로 쓰이는 Realsense D435i는 max range가 좀 더 긴 대신, 근거리에서 깊이 측정 정확도가 높지 않다. 하지만 먼 곳은 별로 볼 필요 없고 가까운 걸 좀 더 정확하게 보고 싶다면 D405가 선택지가 될 수 있다. Lighting condition : ..
-
나를 슬프게 하는 좌표계 변환(TF)에서 삽질 적게 하기
로봇은 참 다양한 센서들로 구성되어 있다. 안타까운 점은 모든 센서마다 좌표계가 다 다르다는 점이다. 그래서 로봇을 다루는 엔지니어 스튜던트라면 좌표계 변환(Transformation)을 밥 먹듯이 할 수 밖에 없다. 아니, 사실 로봇을 안 다뤄도 해야 한다. 센서와 공간을 다룬다면 모두가 갖춰야 할 소양인 것이다. 그렇지만 이 좌표계라는 놈은 정말 너무 헷갈린다. 그래서 소양이 부족한 나는 종종 귀찮기도 하여서 파라미터를 이리저리 바꾸면서 "이번에는 맞게 해주세요"라고 기도하며 정확한 TF를 얻기 위해 몇 시간을 허비한 적이 있는데, 대부분의 경우 머리털만 좀 더 빠지고 여전히 내가 원하는 정확한 결과는 얻을 수 없었다. 그래서 때려 맞추는 것 보다 좀 더 정답에 빨리 갈 수 있는 노하우가 있을까 고민..
-
내가 만든 데이터셋 잘 사용하기 : Diffusion Policy의 데이터 전처리 방법들
Imitation Learning(모방 학습)을 사용할 때는 내가 만든 데이터셋을 사용해야 하는 경우가 많이 있다. 특히 로봇 imitation learning의 경우에는 문제 상황 모델링부터 데이터셋 구조, 손실 함수 및 평가 메트릭까지 다 정해야 하는 경우가 종종 있다. 이상한 연구를 할 수록 더 그런 것 같다.만약 내가 시맨틱 세그멘테이션 성능을 높이는 연구를 한다면 잘 마련된 경기장에서 빨리 뛰기 위해 체력을 기르고 트랙을 꼼꼼히 살피는 방향으로 진행하는 것이 보통이다. (모두가 사용하는 데이터셋에서 범용적인 평가 메트릭을 사용해 좋은 성능 내기 - 개인적으로는 이게 훨씬 어려워 보여욧... )반면 응용단에서 뭔가 새로운 시도를 하는 로보틱스 연구를 한다면 미개척지에 삽을 들고 냅다 뛰어드는 것..
-
PointNet의 input point cloud processing에 대해서
https://github.com/charlesq34/pointnet.git GitHub - charlesq34/pointnet: PointNet: Deep Learning on Point Sets for 3D Classification and SegmentationPointNet: Deep Learning on Point Sets for 3D Classification and Segmentation - charlesq34/pointnetgithub.comPoint cloud를 input으로 받는 딥러닝 모델을 설계할 때는 항상 고민에 빠지게 되는 지점은 '길이가 모두 다른 point cloud를 어떻게 정규화를 해 줄 것인가?'인 것 같습니다. 길이를 고정해놓고 패딩을 줄 수도 있고, 정규화 네트워크를..
-
A Lifelong Learning Approach to Mobile Robot Navigation
A Lifelong Learning Approach to Mobile Robot NavigationBo Liu, Xuesu Xiao, Peter Stonehttps://arxiv.org/abs/2007.14486 A Lifelong Learning Approach to Mobile Robot NavigationThis paper presents a self-improving lifelong learning framework for a mobile robot navigating in different environments. Classical static navigation methods require environment-specific in-situ system adjustment, e.g. from ..
-
Dynamic Programming
Prediction은 Evaluation과 같다고 생각하시면 됩니다. 강화학습에서 Prediction은 Policy가 주어져 있을 때 각각의 state가 몇 점인지 평가를 해 주는 것입니다. Control은 결국에는 가장 좋은 것을 찾는 것입니다. 그리고 강화학습에서 가장 좋은 것은 즉, 최적의 Policy입니다. 그리고 최적의 Policy를 찾는 데에는 두 가지 방법이 있는데, 이 두 개는 사실상 같은 것이라고 할 수 있습니다. Value iteration은 Policy iteration의 특수한 경우입니다. 오늘은 1) 평가하는 것, 2) 가장 좋은 것을 찾는 것 이라는 두 가지를 다룰 텐데 이는 모두 MDP라는 특수한 환경에서 이루어집니다. 그리고 MDP를 풀 때는 여러가지 방식이 있지만 '모델을 ..
-
ROS with Qt : 1. 설치하고 간단한 프로젝트 템플릿 만들기
로봇 개발에서의 편의성을 위해 이런 저런 GUI 개발을 시도해 보고 있는데, FoxGlove, Flutter를 이용한 웹앱 등 여러 가지 툴을 써 봤지만 가장 대중적인 Qt는 안 써봐서 이참에 시도해 보는 글1. Installation# 필요한 qt 패키지sudo apt-get updatesudo apt-get install qt5-default qtcreator# UI를 시각적으로 디자인할 수 있는 도구sudo apt-get install qttools5-dev-toolqtcreator 2. Make project# ROS 워크스페이스의 src 폴더에서catkin_create_pkg qt_ros_app roscpp std_msgscd qt_ros_app# filetreeqt_ros_app/ ├── i..
-
Markov Decision Process (MDP) & Bellman Equation
강화학습에서 가장 중요한 것을 다시 짚어보면 다음과 같습니다. Environment: Agent를 제외한 모든 것State: 환경 중에서도 우리에게 필요한 정보들 Rewards: Agent가 판단을 내렸을 때 이에 대한 보상값(스칼라)Return: 리워드의 기댓값(최종적으로 받을 수 있는 보상의 기댓값)AgentPolicydeterministic: 어떤 state에서는 어떤 action을 해라stochastic: 이런 state에서는 이런 action을 할 확률이 얼마 Value: 리턴의 기댓값이 상황이 얼마나 좋은지 나쁜지를 나타내는 값Model: action을 했을 때 받을 수 있는 리워드에 대한 정의내가 이 행동을 하면 어디로 갈까? (어떻게 될까?) Markov Property현재의 나의 stat..
-
강화학습 수업 Navigator
셀프 강화학습 재수강 1. Introduction of Reinforcement Learning2. Basic concept of Reinforcement Learning3. Markov decision process4. Dynamic programming5. Monte Carlo6. Temporal difference7. MC Control8. TD Control SARSA9. TD Control Q-learning10. Function Approximation11. Policy gradient - REINFORCE12. Policy gradient - Actor Critic13. DQN14. DDQN15. TRPO16. PPO17. A3C18. TD319. SAC20. Model-based RL
-
TOP-Nav : Legged Navigation Integrating Terrain, Obstacle and Proprioception Estimation
TOP-Nav : Legged Navigation Integrating Terrain, Obstacle and Proprioception EstimationJunli Ren1,*, Yikai Liu1,*, Yingru Dai1, Junfeng Long2, Guijin Wang1,†https://top-nav-legged.github.io/TOP-Nav-Legged-page/ SOCIAL MEDIA TITLE TAGSOCIAL MEDIA DESCRIPTION TAG TAGtop-nav-legged.github.io2024 CoRL세상 사람들이 내가 하고 싶은 거 다 먼저 해부렀네...https://www.youtube.com/watch?v=CzsE8kEf5lo&ab_channel=YikaiLiu Abstr..
-
(3) adb mode 사용하기
Android Debug Bridge 사용하여 모델 성능을 모니터링하고, 이 결과를 토대로 모델을 개선하기이때까지 진행한 과정(RKNN 모델 변환, 경량화, inference)에는 다만 약간의 문제가 있습니다. 변환은 리눅스 컴퓨터에서 진행하고, 파일을 오렌지 파이로 옮겨서 inference 만 수행하고 결과를 살펴본 것입니다. 매번 모델을 변환하고, 옮겨서 inference하기란 정말 귀찮은 일입니다. 또한, 귀찮은 것 보다 문제는 오렌지 파이 자체에는 rknn-toolkit2-lite만 사용할 수 있기 때문에, rknn-toolkit2에서 제공하는 모델 성능 평가 메소드를 사용할 수 없습니다. Performance Evaluation 기능을 사용하기 위해서는 ADB 모드로 오렌지 파이를 사용하는 것이..
Deep Learning
-
내가 만든 데이터셋 잘 사용하기 : Diffusion Policy의 데이터 전처리 방법들
Imitation Learning(모방 학습)을 사용할 때는 내가 만든 데이터셋을 사용해야 하는 경우가 많이 있다. 특히 로봇 imitation learning의 경우에는 문제 상황 모델링부터 데이터셋 구조, 손실 함수 및 평가 메트릭까지 다 정해야 하는 경우가 종종 있다. 이상한 연구를 할 수록 더 그런 것 같다.만약 내가 시맨틱 세그멘테이션 성능을 높이는 연구를 한다면 잘 마련된 경기장에서 빨리 뛰기 위해 체력을 기르고 트랙을 꼼꼼히 살피는 방향으로 진행하는 것이 보통이다. (모두가 사용하는 데이터셋에서 범용적인 평가 메트릭을 사용해 좋은 성능 내기 - 개인적으로는 이게 훨씬 어려워 보여욧... )반면 응용단에서 뭔가 새로운 시도를 하는 로보틱스 연구를 한다면 미개척지에 삽을 들고 냅다 뛰어드는 것..
-
Domain Generalization : Data Manipulation Methods
Data Augmentation 도메인이 다르다고 하면 과연 이 세 장의 이미지에서 "무엇이" 다른 걸까요 ? 이미지에는 Semantic (Content) 정보와 Apperance (Style) 정보가 있습니다. 따라서 컨텐츠만 잘 하면 새로운 스타일의 이미지가 왔을 때 잘 분류할 수 있지 않을까요 ? 그리고, 1번과 3번 이미지는 비슷한 스타일이기는 하지만 자세라던지, 귀의 방향 등이 다릅니다. 그러면 1번 컨텐츠에 3번 스타일을 적용한 새로운 이미지를 생성한다면 학습에 도움이 되지 않을까요 ? 이것이 Domain Generalization 에 사용되는 Data Augmentation 의 방법입니다. 그러면 Contents 를 표현하는 것과 Style 을 표현하는 것은 무엇이 다를까요 ? ADaIN A..
-
Domain Generalization
Domain Generalization 이 무엇일까 ? 위에 이 두 개는 같은 도메인일까요 아닐까요 ? 기준을 어떻게 두느냐에 따라서 도메인의 정의는 달라집니다. 수학적 정의 input x 의 marginal distribution 을 domain 이라고 정의 하는 경우가 많습니다. 혹은 input 과 output 의 joint distribution 으로 정의하는 경우도 있습니다. 그래서 우리는 각각의 Domain 에서 나온 Feature 들이 이와 같이 Label Space 에서 Clustering 되기를 바라는 것 입니다. Single-Source vs. Multi-Source Domain Generalization 그러면 학습할 때 도메인은 몇 개를 사용하면 될까요 ? 학습할 때 하나의 도메인만 ..
-
Backdoor Attack on Self-Supervised Learning
Backdoor Attack은 Adversarial Attack 의 한 종류입니다. 위와 같은 Attack 을 Evasion Attack 이라고 합니다. 우리가 실제로 모델을 학습시킬 때 사용하는 게 아니라, 학습된 모델을 테스트할 때 테스트 이미지를 조작해서 잘못된 결과를 내도록 하는 것입니다. Backdoor Attack Backdoor Attack 은 "트로이 목마" 처럼 무언가를 심어 놓는 것입니다. 이미 학습을 할 때부터 심어 놓게 됩니다. 이때 Poison instance 는 우리가 학습을 시키는 데이터셋에 오염된 instance 를 추가시키거나, 기존에 있던 데이터셋을 조금 변형시키는 것입니다. 예를 들어 데이터셋이 10,000 장이면 100 장 정도에 perturbation 이나 의도를 가..
-
MAE : Masked AutoEncoder🤿
K, He, et al. "Masked Autoencoders Are Scalable Vision Learners", ICCV, 2022 Very simple method, but highly effective BERT-like algorithm, but with crucial design changes for vision Intriguing properties - better scalability and more from analysis MAE 같은 형식의 문제가 여기서 처음 나온 건 아닙니다. 우리가 Pretext Task 중에서, Context Prediction 이라는 impainting 태스크가 있었습니다. 또한 Transformer 에서 언급했던 Pixel GPT 도 있습니다. 그런데 2022..
-
Contrastive Learning : BYOL (Bootstrap Your Own Latent)
이때까지 Contrastive Learning 에서는 Negative Sample 이 중요했습니다. 하지만 BYOL 은 이와 조금 다릅니다. Key Ingredients Image Transformations : Comparing embeddings Target Networks : Similar to MoCo Additional Predictor on top of online network Interest of the method Simple training procedure No negative examples Work at the embedding level : no pseudo-labels BYOL 은 Negative Sample 을 사용하지 않고, Positive Sample 들 간에 얼마나 가까..
-
Contrastive Learning : Moco (Momentum Contrast)
Contrastive Learning 을 하는 이유는 Postive Pair 는 가깝게, Negative Pair 는 멀게 하기 위함입니다. 여기서 가장 흔히 사용되는 Loss 는 InfoNCE 라는 loss 입니다. 다만 이후 Clustering 을 할 때 있어서 문제가 발생합니다. InfoNCE 로 인코더를 학습하고 나면 x와 x' 의 위치는 Embedding space 상에서 가까워 지게 됩니다. 그런데 과연 가까워 지는 쪽으로 업데이트를 하는 게 옳을까요 ? 가까워지는 방향에 Negative Pair 들이 있다면 어떻게 될까요 ? Negative Pair 들이 없는 방향으로 옮겨가야 하지 않을까요 ? 즉, Negative 랑은 멀게, Positive 랑은 가깝게 하려면 momentum 을 고려해야..
-
Self - Supervised Learning : Contrastive Learning
Contrastive Learning 이 이전의 Pretext Task 와 다른 점은 다음과 같습니다. Contrastive Learning 은 특정한 일을 시키면서 Representation 을 학습시키는 게 아니라, invariance 와 contrast 를 사용합니다. 비슷하게 생기거나, semantic 하게 유사한 애들을 positive pair 라고 하고, 그렇지 않은 애들을 negative pair 라고 하면, invariance 와 contrast 는 다음과 같이 정의됩니다. Invariance : Representations of related samples should be similarContrast : Representations of unrelated samples should ..
-
Self - Supervised Learning : Pretext Task
Self-supervised learning 의 필요성과 기능 Supervised Learning 이 발전함에 따라서, 필연적으로 Self-Supervised Learning 이 각광을 받게 되었습니다. DNN 은 기적같은 성과를 내었지만 이를 위해서는 상당히 많은 양의 Labeled 데이터가 필요했습니다. Annotation 은 상당히 비용이 많이 들고, 돈이 있다고 해서 모두 할 수 있는 것도 아닙니다. 예를 들어 Medical Data 같은 경우 전문성이 필요합니다. Self-Supervised Learning 을 처음 들었을 때 , "스스로 Annotation 을 해 주는 건가 ?" 라는 생각이 들 수 있습니다. 그렇다기보다는, label 자체를 "누군가가 애써서 만들지 않아도 된다" 라고 생각..
-
다양한 Knowledge Distillation 방법들 : 1. Response - based KD
무엇을 배우는가 ? 의 관점에서 KD 는 크게 3가지로 분류할 수 있습니다. Response-Based : 결과값을 따라가는 것 Feature-Based : 중간에 나오는 값들 (과정) 도 다 따라가는 것 Relation-Based : 단편적인 값들의 비교가 아닌, 중간 중간의 값들이 어떤 프로세스에 의해 나오는지 (Flow) 흐름도 따라가는 것 What to match ? Output Logits Output logit 을 따라가는 것은 직관적이고 이해하기 쉽습니다. 하지만 이는 Supervised Learning 에서밖에 사용할 수 없습니다. 답이 있어야 하니까요. Intermediate Features 중간 feature 값으로부터 학습을 하는 것입니다. 하지만 이런 Feature 를 matchin..
-
Knowledge Distillation 개요
Knowledge Distillation 의 정의 Knowledge Distillation is a process of distilling or transferring the knowledge from a large, cumbersome (다루기 어려운) model(s) to a lighter, easier-to-deploy single model, without significant loss in performance KD 는 퍼포먼스의 손실을 최소화하면서 크고 복잡한 모델로부터 작은 모델로 Knowledge 를 전파하는 것을 의미합니다. 큰 모델에서 나오는 성능을 작은 플랫폼에서 돌아가는 모델에 어떻게 적용할 수 있을까 ? 에 관련한 연구들은 다양한 방면에서 진행되고 있습니다. 예를 들어 다음과 같은..
-
큰 이미지에서 동작하는 ViT : Swin Transformer
ViT 의 한계점 Self-Attention 을 Computer Vision 도메인에 적용한 ViT 는 Classification 분야에서 SOTA 의 성능을 보여주었습니다. 다만 ViT 는 Classification 문제만 다룰 수 있다는 한계점이 있었습니다. 또한, ViT는 NLP 의 transformer 를 거의 그대로 가져다 썼기 때문에, Vision 문제 처리에 특화된 transformer 구조를 제안할 수 있지 않을까 ? 하는 제안도 있었습니다. Computational Cost 가 크다는 문제점도 있고요. Swin Transformer 의 제안 Swin Transformer 는 이런 단점을 극복하기 위해서 만들어졌습니다. 이는 계층적인 (Hierarchical) 트랜스포머입니다. Shifte..