Domain Generalization

Domain Generalization 이 무엇일까 ?

그림 / 실사, 말 / 승마 등 서로 다른 기준에 의해 나눠지는 도메인의 정의

위에 이 두 개는 같은 도메인일까요 아닐까요 ? 

기준을 어떻게 두느냐에 따라서 도메인의 정의는 달라집니다. 

 

수학적 정의

 

input x 의 marginal distribution 을 domain 이라고 정의 하는 경우가 많습니다. 혹은 input 과 output 의 joint distribution 으로 정의하는 경우도 있습니다. 

Feature Space 와 Label Space

 

그래서 우리는 각각의 Domain 에서 나온 Feature 들이 이와 같이 Label Space 에서 Clustering 되기를 바라는 것 입니다. 

 

Single-Source vs. Multi-Source Domain Generalization

그러면 학습할 때 도메인은 몇 개를 사용하면 될까요 ? 학습할 때 하나의 도메인만 사용하는 것을 Single-Source Domain Generalization 이라고 하고 여러 개의 도메인을 사용하는 것을 Multi-Source 라고 합니다.

 

만약 여러 개의 도메인을 사용할 경우, 다른 도메인들 사이에서 개체의 공통점을 찾아내는 방향으로 학습을 하게 됩니다. 스케치와 실사의 말이 있을때, 두 사진 다 "말"이라고 분류하는 이유가 뭘까 ? 하는 특징들을 찾아냄으로써 말을 학습합니다. 

 

따라서 Generalization 을 하려면 최소한 2개 이상의 set 이 있어야 하는 게 기본적인 원리인데, 하나만 가지고도 Generalization 을 하고자 하는 것입니다. 

 

Evaluation

1. Protocol

• Leave - one - domain - out

2. Evaluation Metrics

• Average
• Worst Case

3. Model Selection

• Training - domain validation
• Leave - one - domain - out validation
• Test - domain validation

 

---

위 내용은 경희대학교 소프트웨어융합학과 황효석 교수님의 2023년 <심층신경망을 이용한 로봇 인지> 수업 내용을 요약한 것입니다.