Egyforma valószínűségű jelekből álló forrás elemzése

Szimbólum A B C D
Valószínűség 1/4 1/4 1/4 1/4
Információtartalom 2,0 bit 2,0 bit 2,0 bit 2,0 bit

Entrópia

A következő szimbólum várható információtartalma, azaz a forrás entrópiája:
2 bit szimbólumonként.

Hatásfok és redundancia

Mivel a forrás 4 jelből áll, ezért a forrás entrópiája maximálisan Hmax = log2 4 = 2 bit lehetne szimbólumonként, ha mindegyik szimbólum valószínűsége 1/4 lenne.

A forrás hatásfoka
η = H/Hmax = 1.

A forrás redundanciája
R = 1 − η = 0.

A:00 B:01 C:10 D:11 »

A:0 B:11 C:101 D:100 »