Vzájemné informace

vzájemné informace mezi dvěma náhodnými proměnnými X a Y je dáván:

Já (X, Y) = součet (P (X, Y) * žurnál (P (X, Y) / (P (X) * P (Y ))))

kde P (X) a P (Y) být rozdělení pravděpodobnosti X a Y.

Jestliže náhodné proměnné X a Y být nezávislý, já (X, Y) = 0.

vzájemné informace mohou také se nalézat jak:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

kde H (X) je entropie X a je dáván:

H (X) = součet (P (X) * žurnál (P (X )))