Better than alone

트랜스포머 소개 트랜스포머의 인코더 이해하기 셀프 어텐션의 작동 원리 입력 행렬 표현 각 단어의 임베딩 추출 ex) 단어 'I'에 대한 임베딩 $x_1 = [1.76, 2.22, ..., 6.66]$ (1 x 512) 단어 'am'에 대한 임베딩 $x_2 = [7.77, 0.63, ..., 5.35]$ (1 x 512) 입력 행렬(=임베딩 행렬) X ex) 쿼리행렬 $Q$, 키행렬 $K$, 밸류행렬 $V$ 생성 $X\cdot W^Q=Q$ //(3x512) · (512x512) = (3x512) $X\cdot W^K=K$ $X\cdot W^V=V$ * $W^Q, W^K , W^V $는 (512x512) 가중치 행렬로, 처음에 임의 값을 가지며 학습 중에 업데이트 되면서 최적값을 얻음. 셀프 어텐션의 작동 ..

Pipeline이란 일련의 '과정'이 포함된 모델 분석할 때, 1) 데이터 변환 2) Logistic Regression 적용 을 해야한다면, 이 단계를 기억하고 과정을 차례대로 거치게 만드는 것이 파이프라인. 각 단계는 변환기이거나 평가기임. - 변환기 : 어떤 데이터프레임에서 다른 데이터 프레임으로 변환 - transform() - 평가기 : 학습 알고리즘의 추상화. 모델을 생성하는 단계(?) - fit()

순서1. Markov Process - 2. Markov Reward Process - // Return, Value function3. Markov Decision Process S : (finite) set of statesP : state transition probability matrixR : reward functiongamma : discount factor 1. Markov Process (= Markov Chain)MDP란- MDP는 RL을 위한 environment를 표현한 것 전제 조건 : fully observable (agent가 environment의 정보를 모두 알고있음)- 대부분 RL 문제는 MDP 형태로 만들 수 있음 Markov property- state가 Markov하..

Branches of Machine Learning 머신러닝 안에 supervised learning, unsupervised learning, reinforcement learning 등이 있음 Reinforcement Learning의 특징- supervisor가 없음. 즉, 정답을 알려주지 않음. reward signal만 있음. - 피드백이 즉각적이지 않을 수 있음 - sequential., non i.i.d data(independent & identical ... ) : 왼쪽갔다가 오른쪽 가는 것과 오른쪽 갔다가 왼쪽 가는 것이 다를 수 있음 예) 목적 : 로봇이 잘 걷기 // 목적은 사람이 결정 supervisor : 왼쪽으로 몸이 기울 땐 왼발을 디딤 // 사람이 알려줘야 함 reward ..

1. 워드 임베딩 : 기계가 단어를 이해할 수 있도록 수치화하는 기술- 모든 자연어 인식의 근간이 됨. 2. 문장 분류 : 문장을 여러 카테고리로 분류- 감성 분류 : 문장을 긍정/부정으로 분류- 의도 분류 : 문장을 질문/요청으로 분류- Sequence to Sequence : 번역 등에 사용 (안녕 hello)- MRC(Machine Reading Comprehension) : 자언여 Q&A. 즉,문장을 해석해서 알아서 답변을 찾음

*대표적인 딥러닝 모델- FNN (Feedforward Neural Network)- CNN (Convolutional Neural Network)- RNN (Recurrent Neural Network) 예제를 통해 세가지 대표적인 딥러닝 모델을 설명할 수 있다.예제 : 숫자 이미지 인식이미지 28 X 28 픽셀(784px)로 구성됨. 각 픽셀의 gray scale(검0흰1)은 0~1 사이 연속적인 값으로 표현정답은 0~9까지의 값 중 하나임. 따라서, input layer 784 node, output layer 10 node 임.hidden layer는 30개 노드로 가정 *FNN : 이 때, AI가 학습해야 할 전체 파라미터 개수는 (783X30 + 30X10 + 30 + 10) = 23,860(..

* AI 구현 절차1. 문제 정의2. 데이터 수집3. 특징 추출 : 수집한 데이터 중 꼭 필요한 핵심 데이터(feature data) 추출4. 인식 및 예측5. 의사 결정 * 인공지능 구현 방식 : 기준에 따라 크게 세 유형으로 구분됨- 기준- 판단의 근거가 되는 특징을 어떻게 추출할 것인가?- 판단 규칙을 어떻게 만들 것인가?-> [Raw Data] ---(특징 추출)---> [Feature Data] ---(판단규칙 설정)---> [인식 및 예측]- 유형- 전문가 시스템 : (룰베이스 시스템) 특징 추출, 판단규칙 설정 모두 사람(전문가)이 직접 결정- 전통적인 머신러닝 기법 : 특징 추출은 사람, 판단 규칙 기계가 결정- 딥러닝 기법 : 특징 추출, 판단규칙 설정 모두 기계가 결정 예를 들어, 붓꽃..