Better than alone

트랜스포머 소개 트랜스포머의 인코더 이해하기 셀프 어텐션의 작동 원리 입력 행렬 표현 각 단어의 임베딩 추출 ex) 단어 'I'에 대한 임베딩 $x_1 = [1.76, 2.22, ..., 6.66]$ (1 x 512) 단어 'am'에 대한 임베딩 $x_2 = [7.77, 0.63, ..., 5.35]$ (1 x 512) 입력 행렬(=임베딩 행렬) X ex) 쿼리행렬 $Q$, 키행렬 $K$, 밸류행렬 $V$ 생성 $X\cdot W^Q=Q$ //(3x512) · (512x512) = (3x512) $X\cdot W^K=K$ $X\cdot W^V=V$ * $W^Q, W^K , W^V $는 (512x512) 가중치 행렬로, 처음에 임의 값을 가지며 학습 중에 업데이트 되면서 최적값을 얻음. 셀프 어텐션의 작동 ..