[Computer Vision]딥러닝 성능최적화(2) : Label없이 학습 할 수 있을가?

자기 지도 학습은 왜 필요할까요? 

 

1. 대량의 Data가  지속적으로 축적됨(Google, Youtube)

2.모든 데이터를 Label하는 것은 cost가 비싸거나 어려움(특히 전문적인 분야의 경우)

 

 

Overall Trends in SSL( in CV) 

 

1.Generative Learning 

Image 자체를 Label로 사용하는 경우 

 

2. proxy task learning 

proxy task를 통해 스스로 만든 label을 활용하는 경우

 

3.Contrastive Learning

비교(comparision)이미지를 통해 학습하는 경우 

 

 

Generative Learning 

 

가장 간단한 방법론 중 하나입니다.

 

Auto encoder을 통해 input data를 통해 ouput을 생성하는 모델을 만들어줍니다.

오른쪽의 context encoder는 이미지에서 masking된 부분을 그려내는 모델입니다. 

 

그러나 decoder는 representation을 위해서 필요가 없지만 이 방법을 위해서는 decoder 부분도

같이 학습을 시켜야합니다

 

그렇기 때문에 computational cost가 크다는 단점을 가지고 있습니다 

 

 

Proxy task learning 

 

decoder 없이 porxy task 를  미리 설계하여 unlabled 데이터에 proxy label을 생성합니다

그러나 proxy task를 인간이 직접 설계하기 때문에 이게 효과적인지에 대한 부분이 명확하지 않습니다. 

 

예제: discriminative unsupervised feature learning with convolutional neural networks

discriminative unsupervised feature learning with convolutional neural networks

 

이번 예시를 통해 proxy task에 대해 알아보겠습니다. 

 

각각의 데이터가 하나의 class를 가지게 하여 모델을 학습시킵니다.

예를들어 Imagenet의 경우 100만장의 이미지가 있기 때문에 100만개의 class를 가지게 됩니다. 

 

물론 1개의 class에 1장의 데이터를 넣는 것은 비효율적이기 때문에 

Image auigmentation을 통해 증강을 하고 A 이미지에서 나온 데이터들은 A와 같은 class로 pseudo label을 해줍니다 

 

pseudo labeling -> 학습과 같은 방법론을 proxy task라고 합니다 

 

 

 

예제: Relative patch location

unsupervised visual representation learning by context prediction

임의의 random patch에 대해서 어느 위치에 존재하는지 탐색하는 문제입니다. 

 

그러나 상대적인 위치를 학습하며 Representation을 학습하는 것이 어려운 부분입니다.

 

예제: Rotation

unsupervised visual representation learning by context prediction

 

 

회전한 이미지를 모델에 넣어 회전한 각도로 classification을 진행합니다

 

 

예제: Jigsaw Puzzle 

Unsupervised Learning of Visual Repeesentations by Solving Jigsaw Puzzles

Proxy task learning 정리 

 

Decoder 없이 ssl이 가능하다는 장점이 존재합니다 

그러나 proxy task를 설게함에 있어 많은 heuristics가 들어가며 

고차원의 representation과 task의 관계가 불분명합니다 

 

이를 해결하기위해 contrative learning이 나왔으며 월등한 성능을 보여줍니다