Entropi (informationsteori)

Fra Wikipedia, den frie encyklopædi
Spring til navigation Spring til søgning
Disambig bordered fade.svg For andre betydninger, se Entropi (flertydig)
Question book-4.svg Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.

I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.

Entropien er givet ved en sum over alle mulige tilstande:

hvor er sandsynligheden for tilstanden .[1]

Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:

For et system med forskellige udfald er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.[2]

Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel, hvor informationsentropien er ganget med Boltzmanns konstant.[3]

Simpelt eksempel[redigér | redigér wikikode]

I det følgende gives eksempler på beregning af entropi.

Møntkast[redigér | redigér wikikode]

To bit entropi: For to ærlige møntkast er der 4 mulige udfald, og informationsentropien er to-tals-logaritmen til 4, hvilket giver 2 bit. For møntkast er entropien bit.

Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:

Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:

For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:

Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal mønter være . Sandsynligheden per udfald er derfor:

Og derfor er entropien:

Entropien for møntkast er altså simpelthen .

Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.

Bernoulli-proces[redigér | redigér wikikode]

Entropi som funktion af sandsynligheden for udfald 1. For en Bernoulli-proces er entropien maksimal, når begge udfald er lige sandsynlige, mens entropien er nul, når kun ét af udfaldene er muligt.[2]

En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne og

hvor er konstant. Dette er en generalisering af den ærlige mønt, hvor . Entropien er:

For er entropien 1 som før, men for - dvs. hvis udfald 1 er umuligt - bliver entropien:

Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).[2]

Kildehenvisninger[redigér | redigér wikikode]

  1. ^ Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (Third Edition). Academic Press. s. 51. ISBN 978-0123821881. 
  2. ^ a b c Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 153-155. ISBN 978-0-19-856770-7. 
  3. ^ Blundell, Stephen J.; Blundell, Katherine M. (2006). "14.8 Entropy and probability". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 146-148. ISBN 978-0-19-856770-7. 
ArtikelstumpStub
Denne artikel er kun påbegyndt. Hvis du ved mere om emnet, kan du hjælpe Wikipedia ved at udvide den.