[딥러닝]GAN의 단점은 뭘까?

Build Better Generative Adversarial Networks (GANs) week2를 정리한 내용입니다 

 

https://www.coursera.org/learn/build-better-generative-adversarial-networks-gans/home/week/1

Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera

 

 

Disabvantage of GANs

---

지금까지 강의에서는 GAN의 장점에 대해서 많이 언급했었습니다 

그 중에 가장 큰 장점은 바로 fidelity 즉, 생성된 이미지의 quality입니다. 

인물을 예로 들면 현실 어딘가에 있을 법한 이미지를 잘 생성할 수 있다는 이야기입니다. 

 

그런데 앞서 week1에서 얘기한 것처럼 GAN은 모델의 성능을 평가하는게 조금 까다롭습니다. 

분류 모델처럼 정답/오답 혹은 확률 비교로 명확하게 평가할 수 있는게 아니기 때문입니다. 

강의에서는 Lack of instrinsic evaluation metrics 즉, (모델) 내적인 평가 지표가의 부재입니다

 

두번째는 학습이 불안정하다는 것입니다.

 

위의 사진과 같은 예시를 Mode Collapse라고 표현하는데 생성자가 다양한 이미지를 만들어내지 못하고

비슷한 이미지만을 생성하는 경우를 말합니다. 특정 분포에 생성된 이미지가 몰려있게 되며 

학습이 정상적으로 진행되지 못하는 현상이 발생하게 됩니다. 

 

세 번째는 density에 대한 estimation이 어렵다는 점입니다 

 

생성모델에서 feature에 댏란 density를 아는 것은 중요합니다 이를 통해서 원하는 이미지가 잘 생성되는지 

혹은 이상한 이미지가 생성되는지 알 수 있기 때문입니다 

 

위의 이미지처럼 리트리버를 만드는 모델이라면 금색 털, 커다랗고 축 처진 귀 등의 feature를 가지는 

분포가 높게 나오는것이 좋다고 판단할 수 있습니다. 반대로 다리는 5개고 머리는 하나 더 달려서 

애니메이션캐릭터 catdog처럼 생긴 이미지 분포는 낮으면 낮을 수록 좋을 것입니다. 

 

이렇게 density estimation을 통해서 모델에 대한 많은 정보를 얻을 수 있지만,

GAN은 명시적인 분포를 알기가 어렵습니다 

 

 

 

네번째는 Generator is not train to be invertible

어떤 노이즈 벡터에서 이 이미지가 생성되었는지 알 수가 없습니다. 

말만 들으면 잘 이해가 안되는데요 "굳이 노이즈 벡터가 뭐였는지 알아야하나?" 이런 생각이 들 수도 있습니다 

 

 

이 얘기는 앞서 나왔던 Controllabel generation과 연관이 있습니다 

아래의 여성의 사진에서 수염을 붙여주고 싶습니다. 

Input을 조금 바꿔서 수염이 있는 여성을 생성하고 싶다면 Entanglement문제는 둘째치고 일단 뭘 넣었는지 알아야합니다 

그래야 뭔가를 바꾸던 말던 할테니까요. 

 

 

지금까지의 내용을 정리하면 다음과 같습니다. 

 

GAN은 장점과 단점이 뚜렷합니다. 

 

이미지 생성의 결과물이 잘나오고, 추론이 빠르지만 학습 혹은 평가를 할 때에 많은 어려움이 존재합니다 

내 수행하고 싶은 task가 장점과 좋은 시너지를 낼 수 있다면 좋겠지만, 반대로 단점이 더 치명적일수도 있습니다.

이를 위해서 GAN의 Alternatives에 대해서 알아보겠습니다 

 

 

GAN의 대안

---

GAN이 포함되는 생성모델은 다음과 같습니다.

Noise를 통해서 특정 클래스에 속하는 Features에 대한 확률 분포를 만드는 모델입니다. 

 

 

VAEs은 대표적인 생성모델 중의 하나입니다. Encoder와 decoder로 이루어진 Autoencoder구조의 변형입니다. 

데이터를 통해서 Encoder와 Decoder를 학습시키는데 결과적으로 가운데에 Latent Space를 만들어주기 위함입니다.

 

학습이 완료된 VAEs는 이미지의 차원을 축소하는 역활을 하는 Encoder를 떼어내고 만들어진 Latent space로

이미지를 생성하게 됩니다.

  앞서 설명한 GAN의 장단점과 정확히 반대에 속하는 거 같습니다. 

평가에 대한 부분 혹은 학습은 안정적이지만 중요한 이미지의 퀄리티가 다소 낮다는 단점이 있습니다. 

 

GAN으로 생성한 이미지와 VAE를 활용한 이미지의 차이입니다. 

 

GAN의 경우는 이미지의 퀄리티는 다소 높은 것으로 보입니다. 그러나 인물의 자세, 배경등을 보면 비슷한 모습이고

VAE의 경우는 굉장히 다양한 모습으로 이미지들이 생성된 것을 확인할 수 있습니다 

 

 

다음으로는 Autoregressive Model입니다

pixel의 부분을 연속적으로 살펴보는 모델입니다. 

 

가역적인 mapping이 가능하다고 합니다. 이를 통해서 controllable한 생성이 가능합니다 

 

 

앞서 소개한 모델에서 두개 이상의 모델을 합쳐 새로운 모델을 만들어내려는 시도가 있다고 합니다 

강의에서는 자세히 설명하지 않기 때문에 넘어가겠습니다