바닥부터 시작하는 개발 공부

이전 글에서 트랜스포머와 어텐션에 대해 대략적으로 알아보았다. 트랜스포머는 어텐션 구조를 이용해 문장 간의 관계를 파악한다. 그리고, 여기서 Q,K,V를 활용한다. 오늘은 저 행렬들을 어떻게 활용하여 관계를 구하는지 자세히 알아보자 1단계 첫번째 단계는 쿼리 행렬과 키(transpose)의 내적 연산을 수행한다. 행과 열의 이름은 각 단어로 불러보자 그럼 "I" 행 "I"열의 원소는 "I" 벡터와 "I"벡터의 내적이다 마찬가지로 임의의 행 N과 열 M에 대해서 원소는 단어 N 벡터와 M의 내적이라고 할 수 있다. 기하학적으로 내적은 두 벡터의 선형사상을 의미한다. 조금 비약해서 말하면 두 벡터가 비슷한지 정도로 이해하면 좋을 것 같다. 그렇다면 결과로 나온 행렬의 각 원소는 단어와 단어의 유사도의 행렬이..