바닥부터 시작하는 개발 공부

1.1 트랜스포머 소개 트랜스포머는 어텐션 구조를 활용한 새로운 아키텍처이다. BERT, GPT등의 현재 자연어 처리에서 가장 활발히 활용되는 모델의 기반이 되고 있다. -트랜스포머 소개 -트랜스포머와 인코더 이해하기 - 트랜스포머와 디코더 이해하기 ....................................................>이번 장에서 다룰 것들 -인코더와 디코더의 결합 -트랜스포머 학습 기존에는 RNN과 LSTM(RNN의 단점을 조금 극복했지만 그래도 한계는 여전했다) 이 자연어와 같은 순차적 테스크에서 사용되었었다. 하지만 치명적인 장기 의존성 문제가 존재했고 이를 극복하기 위해 "Attention Is All You Need"에서 트랜스포머라는 구조를 제안했다. 트랜스포머는 자연..