Eltérő valószínűségű jelekből álló forrás elemzése

Szimbólum A B C D
Valószínűség 1/2 1/4 1/8 1/8
Információtartalom 1,0 bit 2,0 bit 3,0 bit 3,0 bit
Kód 0 11 101 100

Entrópia

A következő szimbólum várható információtartalma, azaz a forrás entrópiája:
1,750 bit szimbólumonként.

Hatásfok és redundancia

Mivel a forrás 4 jelből áll, ezért a forrás entrópiája maximálisan Hmax = log2 4 = 2 bit lehetne szimbólumonként, ha mindegyik szimbólum valószínűsége 1/4 lenne.

A forrás hatásfoka
η = H/Hmax = 0,875.

A forrás redundanciája
R = 1 − η = 0,125.

A kódolt üzenetek statisztikai vizsgálata

A szerveren generáltunk 50 darab mintát 100 hosszúságú üzenetekből a fenti valószínűségekkel jellemezhető forrásból, és kódoltuk az üzeneteket a kiválasztott kód szerint. A kódok teljes hosszainak illetve az egy szimbólumra eső hosszainak a statisztikája a következő táblázatban látható.
  teljes üzenetátlagosan szimbólumonként
átlagos kódhossz 174,8601,749
maximális kódhossz 1931,930
minimális kódhossz 1561,560

A kommunikációs rendszer vizsgálata »