Shannon-Entropie
H = −Σ pᵢ·log₂(pᵢ)
© 2026
Grundidee
Die Idee einer Entropie auch für Mengen von Zeichen zu definieren geht auf den Mathematiker und Elektroingenieur Claude E. Shannon (1916 bis 2001) zurück. Je höher der Zahlenwert der Entropie ist, desto höher ist auch der Informationsgehalt einer mit den betrachteten Zeichen übermittelten Botschaft. Darin ist die Idee enthalten, dass man für eine Botschaft aus vielen verschiedenen Zeichen mehr Information für die Übertragung benötigt, also beispielsweise für eine Menge von Zeichen, die nur aus Einsen besteht. Die Shannon-Entropie H berücksichtigt nur, wie viele verschiedene Zeichen mit welcher Häufigkeit in einer Menge von Zeichen auftreten. Sie kann nicht zwischen unterschiedlichen Anordungen der Zeichen innerhalb der Kette unterscheiden. Die Zeichenkette 11110000 hat damit also dieselbe Shannon-Entropie wie die scheinbar deutlich zufälligere Zeichenkette 10011100.
Rechenbeispiel
Der Zahlenwert der Shannon-Entropie kann nach einer vergleichsweise einfachen Formel berechnet werden. Man benötigt dafür lediglich die Idee der relativen Häufigkeit, des Logarithmus und des Summenzeichens Σ. Das wird hier an einem konkreten Beispiel kurz vorgerechnet.
- 1, 2, 1, 3, 2, 1, 3, 2, 1, 2
Zuerst berechnet man für jede vorkommende Zahl die relative Häufigkeit h innerhalb der gegebenen Menge. Die relative Häufigkeit ist die Anzahl einer bestimmten Zahl geteilt durch die Anzahl aller Zahlen innerhalb der Menge, also der Mächtigkeit der Menge.
- Ziffer 1: Häufigkeit 4, relative Häufigkeit: 0,4
- Ziffer 2: Häufigkeit 4, relative Häufigkeit: 0,4
- Ziffer 3: Häufigkeit 2, relative Häufigkeit: 0,2
- Alle anderen Ziffern: Häufigkeit 0, Wahrscheinlichkeit 0
Dann wendet man Shannons Formel für seine Entropie an. Die Informationsentropie H ist mathematisch definiert als:
- H = −Σ pᵢ·log₂(pᵢ)
Mit
- pᵢ = die Wahrscheinlichkeit der Ziffer i
- log₂ = der Logarithmus zur Basis 2
- Σ = das sogenannte 👉 Summenzeichen
Einsetzen:
Ausrechnen:
- H ≈ 1,522 Bit pro Ziffer.