Minimální zprávová délka

Minimální zprávová délka je formální informační teorie restatement Occam holícího strojku: dokonce když modely nejsou se rovnat, jedno buzení nejkratší celková zpráva více pravděpodobně je správná.

Od Shannona' s Matematická teorie komunikace (1949) my známe to v optimálním kódu, zprávová délka události E, MsgLen (E), kde E má pravděpodobnost P (E), je dán MsgLen (E) = a bez; žurnál₂(P(E)).

Od Bayesova teoréma my známe to pravděpodobnost hypotézy (H) podané svědectví (E) je úměrný k P (E | H) P (H), který je právě P (H a E). My chceme model s nejvyšší takovou pravděpodobností.

Proto, my chceme model, který tvoří nejkratší popis dat! Od MsgLen (H a E) = a bez; žurnál₂(P (H a E )), nejpravděpodobnější model bude mít nejkratší takovou zprávu. Zpráva vnikne do dvou částí: a bez; žurnál₂(P (H a E )) = a bez; žurnál₂(P (H )) + a bez; žurnál₂(P (E | H )). První je délka modelu a sekundy je délka dat, daný model.

Tak co? MML přirozeně a přesně vymění složitost modelu pro dobrotu záchvatu. Více komplikovaný model bere déle říci (delší první část) ale pravděpodobně sedí datům zlepšit (kratší druhou část). Tak MML metrický si nevybere komplikovaný model ledaže ten model platí za sebe.

Klíčové body o MML:

• MML je metoda Bayesian modelového srovnání. To dá každému modelu skóre.
• MML je měřítko-neměnný! Unlike mnoho Bayesian výběrových metod, MML nestará se jestliže vy se změníte z měřící délky k hlasitosti.
• MML odpovídá za přesnost měření. To používá Fisher informace k optimally discretize nepřetržitým parametrům. Proto pozadí je vždy pravděpodobnost, ne hustota pravděpodobnosti.
• MML byl v použití protože 1968. MML kódovací schémata byla vyvinuta pro několik distribucí, a mnoho druhů žáků stroje včetně: unsupervised klasifikaci, rozhodovací stromy a grafy, DNA sekvence, Bayesian sítě, neuronové sítě (jeden-vrstva jediný doposud), komprimace obrazu, obraz a segmentace funkce, etc.

Viz též

• Minimální popisová délka -- non-Bayesian alternativa
• Kolmogorov složitost -- absolutní složitost; MML je vypočitatelné přiblížení
• Algoritmická informační teorie

Externí odkazy

• Minimální zprávová délka (MML)
• Minimální zprávová délka a Kolmogorov složitost ( C.S. Wallace a D.L. Dowe, žurnál počítače, Vol. 42, ne. 4, 1999).
• Délka zprávy jako efektivní Ockham holící strojek v přerušení rozhodovacího stromu, S. Needham a D. Dowe, Proc. 8. mezinárodní seminář na AI a statistikách (2001), pp253-260. (přehlídky jak Ockham holící strojek pracuje jemný když interpretovaný jako MML.)
• Monash MML Wiki má kousek infa a jestliže to pochopí směl dostat některé více. Lloydova strana je ještě lepší.
• MML výzkumníci a spojení

---

Tento článek je špaček. Vy můžete pomáhat Wikipedia tím, že opraví to.