임베딩자연어를 컴퓨터가 이해할 수 있도록 실수 벡터 형태로 표현한 것으로, 단어 간 유사성 이해, 언어 모델링, 자연어 처리에 필수적인 개념이다.One-hot Encoding모든 단어들에게 숫자 인덱스를 하나씩 부여단점코사인유사도가 항상 0 word2vec단순한 단어 임베딩분포 가설 기반맥락 기반 표현아키텍처CBOW : 주변 단어들을 입력받아, 중심 단어 예측Skip-Gram : 중심 단어를 입력받아, 주변단어 예측. 대규모 데이터셋에서 더 좋은 성능을 보이는 경향단점학습 데이터에 없는 단어에 대해서는 임베딩을 구하기 어려움다의어에 대한 처리가 어려움fasttextword2vec 기반단어 + 쪼갠 단어(내부단어) 임베딩BERT문장의 일정 토큰을 없애고, 추론하는 식으로 학습transformer의 encoder부분의 학습 과정을 따온 언어모델학습 방법마스크 랭귀지 모델문장 중간의 토큰을 가려서 학습하는 방식. 기존 언어모델의 sequential한 특징과 다르게 양방향의 토큰을 모...