임베딩이란 자연어처리 분야에서 의미를 표현하는 표준적인 방식이다. ‘비슷한 맥락에 등장하는 단어들은 유사한 의미를 지닌다’는 distributional hypothesis에 따라, 임베딩에서 의미는 어떤 단어가 사용되는 문맥에 따라 정의된다. 단어의 의미를 벡터로 표현한 임베딩을 사용하면, 벡터 연산을 통해 유사도 계산 등 다양한 과제를 할 수 있다. 초기의 임베딩은 단순히 주변 단어의 빈도를 나타내는 것이었으나, 최근에는 transformer model을 활용한 임베딩으로까지 발전했다. 1. Static Word Embedding 1.1. Sparse Vector - TF-IDF, PMI 등이 있다 - 특정 단어의 빈도를 기반으로 한 임베딩이다 - 일반화 어렵다 - 0이 많아서 벡터 크기가 크다 * t..

StructBERT: incorporated language structures into pre-training (사실상 language structure라기 보단 어순) 1) word-level ordering 2) sentence-level ordering 1) word-level ordering : 기존 BERT처럼 일부 토큰 masking 후, masked되지 않은 토큰 3개(trigram) 골라 순서 섞기 * 4개로 했을 때 성능 차이가 크지 않았고, robustness 고려하여 3개로 선택 → masked된 토큰의 final hidden state → softmax classifier → 본래 토큰 예측 → shuffled된 토큰들의 final hidden state → softmax clas..

https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/ BERT Word Embeddings Tutorial · Chris McCormick BERT Word Embeddings Tutorial 14 May 2019 By Chris McCormick and Nick Ryan In this post, I take an in-depth look at word embeddings produced by Google’s BERT and show you how to get started with BERT by producing your own word embeddings. This post is pres mccormickml.com 기존 임베딩 vs B..

출처 1) Dissecting BERT Part 1: Understanding the Transformer 2) Dissecting BERT Part2: BERT Specifics Part 1 1. Encoder Level 1 : Problem - Transformer의 과제는 번역하기 - Encoder : 입력 문장(출발어) 안의 단어끼리 관계 포착하기 - Decoder : [입력 문장의 정보] + [번역된 단어, 출력문장(도착어)] Level 2 : Flow of Information 1) 각 토큰을 embedding 벡터로 바꾼다. 따라서 전체 input 문장은 (input_length) * (embedding_dim) 크기의 행렬이 된다 2) 이 embedding에 단어의 위치 정보(positio..

http://jalammar.github.io/illustrated-bert/ The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) Discussions: Hacker News (98 points, 19 comments), Reddit r/MachineLearning (164 points, 20 comments) Translations: Chinese (Simplified), Persian The year 2018 has been an inflection point for machine learning models handling text (or more accurately, Natu jalammar.github.io BERT (..