Donat un senyal en una informació a transmetre, hi ha per a cadascun dels llenguatges una probabilitat que aquest senyal sigui seguit per un altre de determinat. Si per una font o llenguatge hi ha N símbols i cadascun té una probabilitat pi, la suma dels productes de cada probabilitat pel seu logaritme (amb signe canviat) defineix l’entropia de la font: S = -Σpilog2pi. Utilitzant logaritmes en base dos, hom té el valor de l’entropia en bits.
f
Electrònica i informàtica