Egyforma valószínűségű jelekből álló forrás elemzése

Szimbólum A B C D
Valószínűség 1/4 1/4 1/4 1/4
Információtartalom 2,0 bit 2,0 bit 2,0 bit 2,0 bit
Kód 0 11 101 100

Entrópia

A következő szimbólum várható információtartalma, azaz a forrás entrópiája:
2 bit szimbólumonként.

Hatásfok és redundancia

Mivel a forrás 4 jelből áll, ezért a forrás entrópiája maximálisan Hmax = log2 4 = 2 bit lehetne szimbólumonként, ha mindegyik szimbólum valószínűsége 1/4 lenne.

A forrás hatásfoka
η = H/Hmax = 1.

A forrás redundanciája
R = 1 − η = 0.

A kódolt üzenetek statisztikai vizsgálata

A szerveren generáltunk 50 darab mintát 100 hosszúságú üzenetekből a fenti valószínűségekkel jellemezhető forrásból, és kódoltuk az üzeneteket a kiválasztott kód szerint. A kódok teljes hosszainak illetve az egy szimbólumra eső hosszainak a statisztikája a következő táblázatban látható.
  teljes üzenetátlagosan szimbólumonként
átlagos kódhossz 223,4202,234
maximális kódhossz 2412,410
minimális kódhossz 1971,970

A kommunikációs rendszer vizsgálata »