Entropy

목차 1. 정보량 수량화하기 2. Entropy (엔트로피) 3. Cross Entropy (교차 엔트로피) 4. Cross Entropy와 Perplexity(혼잡도) 1. 정보량 수량화하기 1) 중요성 : 일어날 확률 낮을수록 정보량이 많다 2) 가법성 : 두 사건이 독립이라면 두 사건이 함께 일어날 때의 정보량은 각 사건의 정보량을 합한 것과 같다 이 두가지 조건을 만족시키려면 정보량은 다음과 같이 정의되어야 한다. 이는 놀라움의 정도로 해석할 수 있다. 2. Entropy (엔트로피) 엔트로피는 표본공간에 나타나는 모든 사건의 정보량의 평균적인 기댓값 이러한 엔트로피는 확률이 모두 같을 때 (uniform distribution) 가장 높다. (ex) fair coin이라 앞면 뒷면 나올 확률 같..

2019.12.04