바닥부터 시작하는 개발 공부

가중치 초기화는 학습을 시작하는 초기 지점을 결정해주기 때문에 잘 선정할 필요가 있습니다. 대표적으로 3가지 가중치 초기화 방식이 있습니다. +추가 설명 왠지 초기화니까 0으로 설정하면 나쁘지 않겠다는 생각이 듭니다. CS231에서 가중치를 0으로 설정하는 것에 대한 내용이 있는데 0이면 안되는 이유에 대해서 설명합니다 가중치를 0으로 설정하게 되면 모든 파라미터(가중치)들이 동일한 값으로 업데이트가 되고 결과적으로 1개의 가중치를 가지는 1개의 신경망을 훈련시키는 것과 동일하기 때문입니다 가중치 초기화 크게 세가지 방법이 사용되고 일반적으로 He 혹은 Xabier 초기화를 사용합니다

딥러닝 알고리즘에서 가장 중요한 부분인 경사 하강법에 대해서 알아보겠습니다 경사하강법이란? 경사 하강법은 현재 위치에서 Loss(손실 함수)를 줄이는 방향으로 학습을 하기 위해서 사용하는 방법입니다. 목적 -> 손실함수의 최소화, Global minima를 향해 가자! Global minima는 쉽게 말해서 함수 전체의 최솟값입니다 이에 반대되는 개념으로는 Local minima가 있습니다 Global minima가 아닌 극소값 전체라고 생각하시면 될 것 같습니다. 각 변수에 대해서 Loss함수를 편미분을 진행해주며 이를 감소하는 방향으로 가중치에 Learning rate를 곱해준 만큼 업데이트를 진행해줍니다 Learning rate 아래의 그림의 수식을 보면 업데이트 된 값 = 이전 값 - 학습률 * ..

Build Better Generative Adversarial Networks (GANs) week2를 정리한 내용입니다 https://www.coursera.org/learn/build-better-generative-adversarial-networks-gans/home/week/1 Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like Google and IBM. Join Courser..

Build Better Generative Adversarial Networks week1 coursera의 GAN 강의 시리즈의 Chapter2의 첫번째 주차의 강의입니다 https://www.coursera.org/learn/build-better-generative-adversarial-networks-gans/home/week/1 Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like ..

앞서 Generative Learning과 proxy task에 대해서 알아보았습니다 그러나 decoder등에서 오는 문제나 proxy task 자체에 대한 몇가지 단점이 존재했습니다. 이를 해결하기 위해 Constrative learning이 나왔습니다 Constrative learning No decoder No proxy task With contrative loss Pemise : Augmentation은 semantic한 정보를 바꾸지 않는다 예를 들어 변환한 후에도 고양이는 여전히 고양이여야합니다. 그러나 두번째 예시처럼 this is good을 섞는 경우 전혀 다른 의미의 문장이 나오게됩니다. Positive sample과 Nagative sample을 비교하며 학습 positive samp..

자기 지도 학습은 왜 필요할까요? 1. 대량의 Data가 지속적으로 축적됨(Google, Youtube) 2.모든 데이터를 Label하는 것은 cost가 비싸거나 어려움(특히 전문적인 분야의 경우) Overall Trends in SSL( in CV) 1.Generative Learning Image 자체를 Label로 사용하는 경우 2. proxy task learning proxy task를 통해 스스로 만든 label을 활용하는 경우 3.Contrastive Learning 비교(comparision)이미지를 통해 학습하는 경우 Generative Learning 가장 간단한 방법론 중 하나입니다. Auto encoder을 통해 input data를 통해 ouput을 생성하는 모델을 만들어줍니다. ..

Self-supervised learning(자기 지도 학습) 자기 지도 학습은 언제 적용 가능할까요? 데이터는 많은데 Label이 제한 된 경우 제한된 데이터에서 최대한의 정보를 추출하는 경우 사실 위 두 조건은 거의 모든 상황에서 만족합니다. 1.데이터가 많은 경우 예시: Tesla 현재 Tesla의 가장 주력 주제는 자기 지도 학습입니다 Tesla는 8개의 서라운드 카메라가 장착된 750,000대의 자동차를 보유하고 있습니다. 이를 하루에 1시간만 운용해도 매월 약 1억 7천만 시간의 360비디오를 저장 가능합니다 이를 Labeling하는 것은 굉장히 큰 비용과 시간이 발생하며 이 때문에 모델을 Label 없이 학습할 수 있는 자기지도학습이 필요합니다 2.제한된 데이터에서 최대한의 정보를 추출하는 ..

오늘은 저번 장에 이어서 셀프어텐션에 대해서 알아보겠습니다. 앞서 쿼리, 키 , 벨류 행렬을 어떻게 계산하는지와 해당 행렬들을 입력 행렬을 통해서 얻을 수 있다는 것을 확인했습니다 단어를 표현하기 위해서( 단어 간의 관계를 파악하기 위해서) 셀프 어텐션은 모든 단어를 연결하는 과정을 수행합니다. 이런 방법을 적용하는 이유는 문장의 모든 단어가 어떤 관게를 가지고 있는지 파악을 하면 학습에 도움이 되기 때문입니다. 이 셀프 어텐션은 총 4가지 단계로 이루어져 있습니다. 순서대로 살펴보겠습니다 1단계 첫번째로는 앞서 구했던 쿼리와 키 행렬을 내적 연산을 수행합니다 행렬의 내적(행렬 곱이라는 표현이 정확할 거 같습니다)은 행벡터와 열벡터의 내적과 동일합니다. 위의 그림의 예에서는 쿼리의 행벡터는 각각 I, a..