Eltérő valószínűségű jelekből álló forrás elemzése

Szimbólum A B C D
Valószínűség 1/2 1/4 1/8 1/8
Információtartalom 1,0 bit 2,0 bit 3,0 bit 3,0 bit

Entrópia

A következő szimbólum várható információtartalma, azaz a forrás entrópiája:
1,750 bit szimbólumonként.

Hatásfok és redundancia

Mivel a forrás 4 jelből áll, ezért a forrás entrópiája maximálisan Hmax = log2 4 = 2 bit lehetne szimbólumonként, ha mindegyik szimbólum valószínűsége 1/4 lenne.

A forrás hatásfoka
η = H/Hmax = 0,875.

A forrás redundanciája
R = 1 − η = 0,125.

A:00 B:01 C:10 D:11 »

A:0 B:11 C:101 D:100 »

A:101 B:100 C:11 D:0 »