티스토리

Better than alone

검색하기

블로그 홈

Better than alone

better-than-alone.tistory.com/m

Better than alone 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

구글 BERT의 정석 Ch.1 트랜스포머 입문 트랜스포머 소개 트랜스포머의 인코더 이해하기 셀프 어텐션의 작동 원리 입력 행렬 표현 각 단어의 임베딩 추출 ex) 단어 'I'에 대한 임베딩 $x_1 = [1.76, 2.22, ..., 6.66]$ (1 x 512) 단어 'am'에 대한 임베딩 $x_2 = [7.77, 0.63, ..., 5.35]$ (1 x 512) 입력 행렬(=임베딩 행렬) X ex) 쿼리행렬 $Q$, 키행렬 $K$, 밸류행렬 $V$ 생성 $X\cdot W^Q=Q$ //(3x512) · (512x512) = (3x512) $X\cdot W^K=K$ $X\cdot W^V=V$ * $W^Q, W^K , W^V $는 (512x512) 가중치 행렬로, 처음에 임의 값을 가지며 학습 중에 업데이트 되면서 최적값을 얻음. 셀프 어텐션의 작동 .. 공감수 0 댓글수 1 2024. 1. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.