Eltérő valószínűségű jelekből álló forrás elemzése

Szimbólum A B C D
Valószínűség 1/2 1/4 1/8 1/8
Információtartalom 1,0 bit 2,0 bit 3,0 bit 3,0 bit
Kód 00 01 10 11

Entrópia

A következő szimbólum várható információtartalma, azaz a forrás entrópiája:
1,750 bit szimbólumonként.

Hatásfok és redundancia

Mivel a forrás 4 jelből áll, ezért a forrás entrópiája maximálisan Hmax = log2 4 = 2 bit lehetne szimbólumonként, ha mindegyik szimbólum valószínűsége 1/4 lenne.

A forrás hatásfoka
η = H/Hmax = 0,875.

A forrás redundanciája
R = 1 − η = 0,125.

A kódolt üzenetek statisztikai vizsgálata

A szerveren generáltunk 50 darab mintát 100 hosszúságú üzenetekből a fenti valószínűségekkel jellemezhető forrásból, és kódoltuk az üzeneteket a kiválasztott kód szerint. A kódok teljes hosszainak illetve az egy szimbólumra eső hosszainak a statisztikája a következő táblázatban látható.
  teljes üzenetátlagosan szimbólumonként
átlagos kódhossz 2002
maximális kódhossz 2002
minimális kódhossz 2002

A kommunikációs rendszer vizsgálata »