Markov-kæde

Et diagram, der viser en Markov-proces med de to udfald E and A. Hvert tal viser sandsynligheden for udfaldet af en ændring af tilstanden. Er Markov-processen i tilstand A, er sandsynligheden for at den ændrer sig til E 0,4 og sandsynligheden for at den forbliver i tilstand A 0,6.

En Markov-kæde er inden for matematikken en tidsdiskret stokastisk proces, der beskriver en talfølge af mulige begivenheder, hvor sandsynligheden af hver begivenhed udelukkende afhænger af det, som bliver opnået ved den foregående begivenhed. Processen har således med Markovegenskaber, hvilket vil sige, at processens forløb kan bestemmes ud fra dens nuværende tilstand uden kendskab til tidligere tilstande.

En Markov-kæde som er tidskontinuerlig kaldes en Markovproces.

Anvendelse

Markov-kædeanalysen, hvor spillet gentages flere gange, og sandsynligheden for næste valg afhænger af forrige spiltilstand, benyttes ofte i spilteori. Alle mulige kombinationer af handlinger definerer tilstande i kæden, og overgangssandsynlighederne opstilles i en overgangsmatrix. Analysen af denne matrix fører til beregning af den stationære fordeling, som giver mulighed for at beregne den gennemsnitlige payoff for hver spiller over tid.

Teorien bag overgangsligninger og ligevægtsligninger er centrale begreber i anvendelsen af Markovkæder i spileteorien. Overgangsligninger beskriver udviklingen af sandsynligheder fra runde til runde, mens ligevægtsligninger beskriver den stationære fordeling, hvor sandsynlighederne ikke længere ændrer sig.

• Overgangsligning: πt+1 = π
• Ligevægtsligning: π = π · P
• Betingelse: ∑i πi = 1
• Forventet payoff: E(U) = ∑i πi · ui

Ligevægtsligningerne bruges til at finde den stationære fordeling og dermed de gennemsnitlige payoffs (Mulige gevinster).

Kildehenvisninger

Spire Denne artikel om matematik er en spire som bør udbygges. Du er velkommen til at hjælpe Wikipedia ved at udvide den.