Kako mogu odrediti razliku između EM algoritma i MLE?


Odgovor 1:

Algoritam maksimizacije očekivanja (EM) pokušava pronaći maksimalnu procjenu vjerojatnosti (MLE) za parametre modela s latentnim varijablama. Parametri nisu latentne varijable, one su marginalizirane u procesu. Iako se ne jamči da će se EM približiti globalnom maksimumu, zajamčeno je da će se približiti maksimumu i poboljšati vjerojatnost modela na svakom koraku. Tipičan primjer je Baum-Welch algoritam koji se koristi za uklapanje u modele prostora države.


Odgovor 2:

Sada proučavam ovaj koncept i nadam se da je moj odgovor točan, ali volio bih da se i povratne informacije poboljšaju.

Dakle, kako ja vidim, MLE je način da se procijeni vjerojatnost funkcija bez uzimanja u obzir a priori vjerojatnosti. Drugim riječima, ako bacimo matricu da dobijemo 5, MLE će dodijeliti najveći rezultat distribuciji (nazovimo je Batman distribucija) koja ima vjerojatnost 1 na izlazu 3, a 0 ostalim (što je kontra intuitivno-)

Međutim, EM algoritam će uzeti u obzir unaprijed znanje da je vjerojatnost 5 na fer umiru 1/6. Stoga će se to uzeti u obzir pri izradi E-koraka EM algoritma. U stvarnosti postoje razni načini da se to postigne, tj. Kroz bajezijske priore, Markove modele itd.

Ako netko naiđe na nedostatak u mom razumijevanju, molim vas neka mi predloži izmjenu.


Odgovor 3:

MLE pruža funkciju Cilj koja se mora optimizirati za dane podatke.

Sama optimizacija se može obaviti na više različitih načina. EM (Expectation Maximization) je jedan od načina optimizacije, mogu se koristiti i sve druge vrste optimizacija.

Ukratko, MLE definira cilj optimizacije dok ga EM rješava iterativno.