Informationsmængde

Fra Wikipedia, den frie encyklopædi

Informationsmængde er inden for informationsteori et kvantitativt mål for mængden af information, der kommer fra en måling eller et udsagn. Hvis udsagnet har sandsynligheden for at være sandt uden a priori viden, er informationsmængden defineret som:

Hvis et system kan være i forskellige tilstande med hver deres sandsynlighed, kan en gennemsnitlig informationsmængde beregnes. Dette kaldes også for entropien.[1]

Motivation[redigér | rediger kildetekst]

Informationsmængde kan forstås ved at overveje, hvilke egenskaber mængden bør have:

1. Hvis et udsagn siger noget åbenlyst, der altid er rigtigt, vil sandsynligheden for, at udsagnet er rigtigt være 1, mens informationen må være 0. Funktionen , der beskriver informationsmængden, skal altså opfylde:

2. Hvis noget er mere usandsynligt, må informationen i udsagnet omvendt blive større. Ændring i informationsmængde og ændring i sandsynlighed må altså have omvendte fortegn:

3. Hvis der bliver givet to udsagn med hver deres uafhængige sandsynlighed, er sandsynligheden for at begge er rigtige givet ved produktet:

Information ville dog normalt blive tænkt på som noget, der kan lægges oven i tidligere information. Dvs. at den samlede information skal være summen:
Derfor skal informationsmængden være en funktion af sandsynlighed, så den opfylder:

Krav 3 opfyldes af logaritmen , så informationsmængde må generelt kunne defineres som:

Her sørger det negative fortegn for, at definitionen overholder krav 2. Hvis en sandsynlighed for 1 sættes ind, giver logaritmen 0, så krav 1 er også opfyldt. Konstanten skal være positiv, men kan ellers vælges frit. I informationsteori sættes konstanten typisk til 1. Inden for statistisk mekanik i fysik er konstanten dog lig med Boltzmanns konstant.

Logaritmens basis kan også frit vælges, men typisk vælges to-talslogaritmen i informationsteori skønt den naturlige logaritme bruges i fysik. Dermed bliver den endelige definition:

Enheden for informationsmængde er da bits.[1]

Kildehenvisninger[redigér | rediger kildetekst]

  1. ^ a b Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 153-154. ISBN 978-0-19-856770-7.