Abb. 2:<\/STRONG> Informationsübertragung<\/I><\/P>\n Ein Information übertragendes System besteht aus einer Informationsquelle, einer Codiereinrichtung, einem Kanal über den die codierten Nachrichten übertragen werden, einem Decodierer und schließlich dem Empfänger der Nachrichten. Es handelt sich dabei um einen Spezialfall eines allgemeinen Kommunikationssystems, in dem nicht \"irgendwelche\" Mitteilungen oder Signale übertragen werden, sondern Information als eine quantitativ bestimmbare Größe; ebenso fließt in diese Modellierung keine Bedeutung der Nachrichten ein. Das System Kanal könnte noch weiter in einen Kanalcodierer, Kanal mit möglichen Störungen und einen Kanaldecodierer untergliedert werden. Typischerweise wird vom Codierer die eingehende Information komprimiert, d.h. ein Code gefunden, welcher mit möglichst kleiner mittlerer Codewortlänge die Information repräsentiert. Der Kanalcodierer hat dann wiederum die Aufgabe, gezielt Redundanz hinzuzufügen, so daß die Codewörter auch nach Übertragung im gestörten Kanal noch identifiziert werden können. Als eigentlichen Kanal kann man sich z.B. eine Telephonleitung, eine Funkstrecke oder das Axon<\/A> eines Neurons vorstellen, an denen entlang Impulse weitergeleitet werden. Ist H<\/I>(X<\/I>) die Entropie der Informationsquelle oder der Informationsgehalt, der in den Kanal gegeben wird, so sei der Informationsgehalt am Kanalausgang H<\/I>(Y<\/I>). Bei einem störungsfreien Kanal gilt H<\/I>(X<\/I>)=H<\/I>(Y<\/I>). Bei einem Kanal mit Störungen, d.h. in allen praktischen Fällen, gilt H<\/I>(X<\/I>\n
\n\n
\n\nH<\/I>(Y<\/I>). Als Maß für die über den gestörten Kanal verlorengegangene Information wird von Shannon die bedingte Entropie der Nachricht (gegeben das Signal am Kanalausgang) folgendermaßen definiert:
<\/BR>\n
\n\n
\nDie Rate der tatsächlichen Information über den Kanal ist nun:
<\/BR>\n
\n\n
\nR<\/I> wird auch Transinformation genannt. Die Kanalkapazität ist dann der Maximalwert von R<\/I>:
<\/BR>\n
\n\n
\nIst die Entropie der Quelle H<\/I>(X<\/I>) kleiner als die Kapazität C<\/I> des Kanals, so läßt sich die Eingangsinformation am Ausgang des Kanals mit vernachlässigbarem Fehler wiederherstellen.<\/P>"}