바닥부터 시작하는 개발 공부

앞서 Generative Learning과 proxy task에 대해서 알아보았습니다 그러나 decoder등에서 오는 문제나 proxy task 자체에 대한 몇가지 단점이 존재했습니다. 이를 해결하기 위해 Constrative learning이 나왔습니다 Constrative learning No decoder No proxy task With contrative loss Pemise : Augmentation은 semantic한 정보를 바꾸지 않는다 예를 들어 변환한 후에도 고양이는 여전히 고양이여야합니다. 그러나 두번째 예시처럼 this is good을 섞는 경우 전혀 다른 의미의 문장이 나오게됩니다. Positive sample과 Nagative sample을 비교하며 학습 positive samp..

자기 지도 학습은 왜 필요할까요? 1. 대량의 Data가 지속적으로 축적됨(Google, Youtube) 2.모든 데이터를 Label하는 것은 cost가 비싸거나 어려움(특히 전문적인 분야의 경우) Overall Trends in SSL( in CV) 1.Generative Learning Image 자체를 Label로 사용하는 경우 2. proxy task learning proxy task를 통해 스스로 만든 label을 활용하는 경우 3.Contrastive Learning 비교(comparision)이미지를 통해 학습하는 경우 Generative Learning 가장 간단한 방법론 중 하나입니다. Auto encoder을 통해 input data를 통해 ouput을 생성하는 모델을 만들어줍니다. ..

Self-supervised learning(자기 지도 학습) 자기 지도 학습은 언제 적용 가능할까요? 데이터는 많은데 Label이 제한 된 경우 제한된 데이터에서 최대한의 정보를 추출하는 경우 사실 위 두 조건은 거의 모든 상황에서 만족합니다. 1.데이터가 많은 경우 예시: Tesla 현재 Tesla의 가장 주력 주제는 자기 지도 학습입니다 Tesla는 8개의 서라운드 카메라가 장착된 750,000대의 자동차를 보유하고 있습니다. 이를 하루에 1시간만 운용해도 매월 약 1억 7천만 시간의 360비디오를 저장 가능합니다 이를 Labeling하는 것은 굉장히 큰 비용과 시간이 발생하며 이 때문에 모델을 Label 없이 학습할 수 있는 자기지도학습이 필요합니다 2.제한된 데이터에서 최대한의 정보를 추출하는 ..