EM-algorithm을 이용한 예측하기 1. EM-algorithm이란?

1. What is EM-algorithm?

 

EM 알고리즘이란 expectation maximization이라는 의미로 반복 시행을 통해 MLE값을 추정하는 방법을 의미합니다. 

 

특히나 missing value 상황에서 빛을 바란다고 알려져 있는데, 

missing value 상황이란 log-likelihood가 완전하지 않을 때 혹은 mle 값이 존재하지 않을 때를 의미합니다.

 

EM알고리즘은 완전한 log-likelihood를 알지 못할 때, 특히나 missing value가 있는 경우에도 MLE 추정이 가능하다고 알려져 있습니다.

 

즉, EM 알고리즘이란 latent variable이 존재하는 모델의 MLE를 구하기 위한 알고리즘 중 하나입니다.

 

* latent variable : 본래 가지고 있는 random variable이 아닌 임의로 설정한 hidden variable, 즉, 관측이 불가능한 변수

 

이는, 굉장히 많은 모델의 해를 구하기 위해 널리 사용되며, 반복시행을 하는 알고리즘입니다.

 

데이터의 형태가 위와 같이 불완전 데이터인 관측 가능한 데이터 x와 완전 데이터이지만 관측이 불가능하고 missing value가 존재하는 y일 경우, EM 알고리즘을 이용한 추정이 가능합니다. 

 

 

 

EM 알고리즘은 E-step과 M-step으로 이루어져 있으며, alternating method 방법으로 한 변수를 고정해두고 나머지 변수를 update한 다음, 나머지 변수들을 같은 방식으로 update합니다. 

 

이러한 과정은 한 번에 수렴하지 않기 때문에, EM 알고리즘은 E-step과 M-step을 원하는 변수인 세타의 값이 변화하지 않을 때까지(수렴할 때까지) 반복하는 iterative 알고리즘이라 할 수 있습니다.