Better than alone

트랜스포머 소개 트랜스포머의 인코더 이해하기 셀프 어텐션의 작동 원리 입력 행렬 표현 각 단어의 임베딩 추출 ex) 단어 'I'에 대한 임베딩 $x_1 = [1.76, 2.22, ..., 6.66]$ (1 x 512) 단어 'am'에 대한 임베딩 $x_2 = [7.77, 0.63, ..., 5.35]$ (1 x 512) 입력 행렬(=임베딩 행렬) X ex) 쿼리행렬 $Q$, 키행렬 $K$, 밸류행렬 $V$ 생성 $X\cdot W^Q=Q$ //(3x512) · (512x512) = (3x512) $X\cdot W^K=K$ $X\cdot W^V=V$ * $W^Q, W^K , W^V $는 (512x512) 가중치 행렬로, 처음에 임의 값을 가지며 학습 중에 업데이트 되면서 최적값을 얻음. 셀프 어텐션의 작동 ..

Replace하고 싶을 때, Ctrl+Shift+F 이용했는데 이렇게 하면 열려있는 파일 모두에서 찾아서 replace하게 된다. 현재 파일만 바꾸고 싶으면 아래 단축키를 이용하면 된다. 윈도우: Ctrl+H (내가 해봤는데 됨) Mac: Command+Option+F (윈도우 써서 해보지는 못함)

스프링 하위 프레임워크로 어플리케이션의 인증(authentication)과 인가(authorization)를 담당하여 기본적으로 제공하는 기능들을 제공. 따라서 개발자가 보안에 해당되는 모든 부분을 구현하지 않아도 되는 장점이 있다. Spring Security Filter 는 Dispatcher Servlet 이전에 적용된다. 즉, request 는 Sprint Security Filter -> Dispatcher Servlet -> interceptor -> Controller 순으로 전달된다. Spring Security 를 통해 인증 과정을 거치고 나면, 특정 리소스에 접근을 하기 위한 권한을 확인한다.

SecurityContextPersistenceFilter - 기존에 인증된 정보가 있다면, 다음 요청에서 다시 인증하지 않도록 SecurityContext를 공유 - Spring Session을 활용하여 세션 클러스터를 구현할 수 있음 => Spring Session을 활용하는 경우, 세션을 생성, 삭제하는 부분을 제대로 구현하지 않을 경우 memory leak이 발생할 수 있음. 서버 내부에서 세션을 생성하기 보다는 외부 데이터소스에 세션을 관리하여 세션 관리 모듈을 분리하는 것도 괜찮음. 단, 의존성이 생기기 때문에, 응답 지연, 에러처리 부분에 신경써야 함. SecurityContextRepository - SecurityContextPersistenceFilter가 기존의 SecurityCont..

Open ID Connect (OIDC) IDP 의 표준 3가지 방식 중 1가지 (SAML, Oauth 2.0, OIDC) 특징 - 상호 운용성: 필요한 사용자 정보들을 ID Token에 제공하여 다양한 인증, 인가에 사용할 수 있음 - 단순성, 모바일 지향 형식: Json 기반의 Rest 친화적 구조 - 보안: 여러 단계의 보안 구조 설계 가능 (Multi factor)

Java Garbage Collector는 어떤 객체에 유효한 참조가 있다면 'reachable', 없으면 'unreachable' 로 구별한다. 따라서 참조가 없는 unreachable object에 대해서 GC를 수행함. 보통, Memory leak이 발생하는 경우에는 문제가 되는 객체에 대한 참조가 살아 있기 때문에 dump를 뜬 후, Memory Analyzer로 확인이 가능하다. (이 경우 reachable object에 대한 확인 필요) 하지만, 비정상적으로 Minor GC가 잦게 발생한다면, GC 대상이 되는 unreachable object에 대한 확인이 필요하다. 이 역시 Memory Analyzer로 확인이 가능하다. (정상적으로 GC가 발생하는 경우 어떤 객체가 GC 대상인지는 알 필..

https://obsidian.md/ Obsidian: A knowledge base that works on local Markdown files. Obsidian – A knowledge base that works on local Markdown files. obsidian.md 최근에 알게 된 obsidian 이라는 메모앱. 마크다운 기반이고, css 커스터 마이징이 가능하다. 여러 커뮤니티에서 다른 사람들이 올려둔 theme을 적용해볼 수 있음. 아이클라우드에 동기화를 해두면, 맥북, 아이폰에서 관리할 수 있다. 다른 메모앱과의 차이점은 좀 더 폴더별로 관리할 수 있고, 파일간 참조하는 경우에 대해서 graph로 확인할 수도 있음. 현재 Notion을 사용하고 있는데, 보다 개인적인건 notio..

import seaborn as sns import matplotlib.pyplot as plt sns.distplot(data, hist=True, kde=True) plt.show() 분포를 확인할 때 보통 히스토그램을 활용하는데, 히스토그램 구간 설정 등에 따라 결과가 다를 수 있음. 그래서, 히스토램과 같은 분포를 스무딩한 KDE를 대안으로 많이 사용한다.

Pipeline이란 일련의 '과정'이 포함된 모델 분석할 때, 1) 데이터 변환 2) Logistic Regression 적용 을 해야한다면, 이 단계를 기억하고 과정을 차례대로 거치게 만드는 것이 파이프라인. 각 단계는 변환기이거나 평가기임. - 변환기 : 어떤 데이터프레임에서 다른 데이터 프레임으로 변환 - transform() - 평가기 : 학습 알고리즘의 추상화. 모델을 생성하는 단계(?) - fit()

USE [DB_NAME] --DB명 GO EXEC SP_HELPFILE --DB, LOG 파일 사이즈 확인(축소 전 크기 확인) --LOG 축소, 최소 사이즈 10메가(ERPPM_LOG : 파일명) DBCC SHRINKFILE (DB_NAME_log, 10) -- GO EXEC SP_HELPFILE --DB, LOG 파일 사이즈 확인(축소 후 크기 확인)