임베딩이란 자연어처리 분야에서 의미를 표현하는 표준적인 방식이다. ‘비슷한 맥락에 등장하는 단어들은 유사한 의미를 지닌다’는 distributional hypothesis에 따라, 임베딩에서 의미는 어떤 단어가 사용되는 문맥에 따라 정의된다. 단어의 의미를 벡터로 표현한 임베딩을 사용하면, 벡터 연산을 통해 유사도 계산 등 다양한 과제를 할 수 있다. 초기의 임베딩은 단순히 주변 단어의 빈도를 나타내는 것이었으나, 최근에는 transformer model을 활용한 임베딩으로까지 발전했다. 1. Static Word Embedding 1.1. Sparse Vector - TF-IDF, PMI 등이 있다 - 특정 단어의 빈도를 기반으로 한 임베딩이다 - 일반화 어렵다 - 0이 많아서 벡터 크기가 크다 * t..

같은 영화라도 넷플릭스와 네이버의 줄거리 소개는 다르다. 이 둘이 어떻게 다른지 알아보고자 word2vec 결과를 시각화하려 한다. 203개 드라마, 932개 영화에 대한 넷플릭스, 네이버 각각의 시놉시스를 크롤링했고, 이제 이를 분석하면 된다~! 크롤링 방법은 여기서 확인하면 된다. 1) 넷플릭스 시놉시스 크롤링 : https://codlingual.tistory.com/10 넷플릭스 영화/드라마 시놉시스 크롤링 넷플릭스는 데이터에 미친 것으로 유명하다. 근데 넷플릭스의 빅데이터 활용 사례 중 언어를 분석한 사례는 잘 못 봤다. 다 영화 포스터 얘기, 추천 시스템 얘기. 그냥 넷플릭스 시놉시스에 관심 갖는 사람이 많이.. codlingual.tistory.com 2) 네이버 시놉시스 크롤링 : http..

http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ Understanding Convolutional Neural Networks for NLP When we hear about Convolutional Neural Network (CNNs), we typically think of Computer Vision. CNNs were responsible for major breakthroughs in Image Classification and are the core of most Compute… www.wildml.com NLP에서 사용되는 CNN - 입력 데이터는 word embedding, 각 행은 한 단..

1) word sense : 단어의 의미 2) synonym (ex) couch와 sofa * principle of contrast : 형태 다르면 의미도 다르다 3) word similarity (ex) dog와 cat 3) relatedness (또는 association) (ex) cup과 coffee 4) lexical fields (어휘장) (ex) 의사와 매쓰 단어의 의미란? 단어의 사용(use), 즉 문맥에 따라 달라진다. (ex) Labov : 컵이란 무엇인가? ∴ 단어의 의미는 neighboring word를 통해 알 수 있다. "한 단어 = 그 단어의 이웃 단어를 벡터로 나타낸 것" [ Vector Semantics ] 1. Long, sparse vector : count로 벡터 만..

칸 아카데미 선형대수 강의는 138개 정도. 대부분의 동영상은 20분 내외다. 일주일에 2-3시간 정도 투자해서 매주 강의 8개씩 들으면 17-19주만에 다 들을 수 있다. Linear Algebra > Vectors and Spaces > Vector dot and cross products 부분을 정리한 것. https://www.khanacademy.org/math/linear-algebra/vectors-and-spaces#dot-cross-products Vectors and spaces | Linear algebra | Math | Khan Academy If you're seeing this message, it means we're having trouble loading external ..