바닥부터 시작하는 개발 공부

오늘은 저번 장에 이어서 셀프어텐션에 대해서 알아보겠습니다. 앞서 쿼리, 키 , 벨류 행렬을 어떻게 계산하는지와 해당 행렬들을 입력 행렬을 통해서 얻을 수 있다는 것을 확인했습니다 단어를 표현하기 위해서( 단어 간의 관계를 파악하기 위해서) 셀프 어텐션은 모든 단어를 연결하는 과정을 수행합니다. 이런 방법을 적용하는 이유는 문장의 모든 단어가 어떤 관게를 가지고 있는지 파악을 하면 학습에 도움이 되기 때문입니다. 이 셀프 어텐션은 총 4가지 단계로 이루어져 있습니다. 순서대로 살펴보겠습니다 1단계 첫번째로는 앞서 구했던 쿼리와 키 행렬을 내적 연산을 수행합니다 행렬의 내적(행렬 곱이라는 표현이 정확할 거 같습니다)은 행벡터와 열벡터의 내적과 동일합니다. 위의 그림의 예에서는 쿼리의 행벡터는 각각 I, a..

1.1 트랜스포머 소개 트랜스포머는 어텐션 구조를 활용한 새로운 아키텍처이다. BERT, GPT등의 현재 자연어 처리에서 가장 활발히 활용되는 모델의 기반이 되고 있다. -트랜스포머 소개 -트랜스포머와 인코더 이해하기 - 트랜스포머와 디코더 이해하기 ....................................................>이번 장에서 다룰 것들 -인코더와 디코더의 결합 -트랜스포머 학습 기존에는 RNN과 LSTM(RNN의 단점을 조금 극복했지만 그래도 한계는 여전했다) 이 자연어와 같은 순차적 테스크에서 사용되었었다. 하지만 치명적인 장기 의존성 문제가 존재했고 이를 극복하기 위해 "Attention Is All You Need"에서 트랜스포머라는 구조를 제안했다. 트랜스포머는 자연..