Úvodní stránka | Tato stránka v originále

Informační teorie

Informační teorie je odvětví matematické teorie pravděpodobnosti a matematický statistiky, to se zabývá pojetími informací a entropie informací, komunikační systémy, přenos dat a ohodnotit pokřivení jako teorii, kryptografie, signalizovat-k-šumové poměry, komprese dat, a příbuzná témata. To nemá být zmateno knihovnou a informatikou nebo informační technologie.

Claude E. Shannon (1916-2001) byl nazýván “otcem informační teorie” (ISBN 0252725484). Jeho teorie “zvažovala přenos informací jako statistický jev” a dávala komunikace připraví způsob, jak zjišťovat schopnost komunikačního kanálu v podmínkách obecné pravdy kousků. Přenosová část teorie není “zaujatý obsahem informací nebo zprávou sám,” ačkoli doplňující se křídlo teorie informace se zajímá o obsah přes komprimaci lossy zpráv podřízených kritériu věrnosti. Tato dvě křídla teorie informace jsou spojená spolu a vzájemně oprávněný informačními přenosovými teorémy, nebo zdroj-soustřeďovat teorémy oddělení, které ospravedlní použití kousků jako univerzální měna pro informace v mnoha kontextech.

To je všeobecně přijímané že moderní kázeň informační teorie začala publikací Claude E. Shannon jeho článku “matematická teorie komunikace” v Bell systémový technický časopis v Červenci a Říjnu 1948. Tato práce čerpala z časnějších publikací Obtěžovat Nyquista a Ralph Hartley. V procesu cvičit teorie komunikací, které mohly být aplikovány elektrotechnici k designu zlepší telekomunikační systémy, Shannon definoval míru entropie:

to, když platil o zdroji zpráv, mohl určovat schopnost požadovaného kanálu předat zdroj jak zakódovaná binární čísla. Jestliže logaritmus v rovnice je vzata k základu 2, pak to dává míru entropie v kouskách. Shannonova míra entropie přišla být vzat, zatímco míra informací obsahovala ve zprávě, jak protichůdný k části zprávy, která je přísně předurčená (od této doby předvídatelný) neodmyslitelnými strukturami, jako například nadbytečnost ve struktuře jazyků nebo statistických vlastností jazyka se vztahovat k frekvencím výskytu různého dopisu nebo párů slova, triplets etc. Viďte Markov řetězy.

Entropie jak definovaný Shannonem je blízko příbuzný entropii jak definovaný fyziky. Boltzmann a Gibbs dělal značnou práci na statistické termodynamice. Tato práce byla inspirace pro přijímat entropii termínu v teorii informace. Tam jsou hluboké vztahy mezi entropií v thermodynamic a informačních smyslech. Například, Maxwellův démon potřebuje informaci k opačné thermodynamic entropii a získání té informace přesně vyrovná thermodynamic zisk že démon by jinak dosáhl.

Mezi jiné užitečné míry informací je vzájemné informace, míra korelace mezi dvěma událostními soubory. Vzájemné informace jsou definovány pro dva události a jak

kde je spojená entropie nebo

Vzájemné informace jsou blízko příbuzné k žurnál-pravděpodobnost test poměru pro multinomials a k 2 test.

A. N. Kolmogorov představil míru informací, která je založená na nejkratším algoritmu, který může obnovit to; vidět Kolmogorov složitost.

Vidět: James Tenney

Externí odkazy