Die Grundbegriffe dieser Theorie wurden in den vierziger Jahren des 20. Jahrhunderts von C. Shannon eingeführt. Informationstheorie - Ist die Wissenschaft der Übertragung, Speicherung undDatenerfassung in natürlichen, technischen und sozialen Systemen. In vielen angewandten wissenschaftlichen Bereichen, wie Informatik, Linguistik, Kryptographie, Steuerungstheorie, Bildverarbeitung, Genetik, Psychologie, Wirtschaft, Produktionsorganisation, werden die Methoden dieser Wissenschaft eingesetzt.
In modernen Verhältnissen mit der Theorie der InformationDie Codierungstheorie ist unter Berücksichtigung der häufigsten Korrespondenzprobleme zwischen einem Signal und einer Nachricht und der Theorie der Signalverarbeitung, die die Quantisierung und Rekonstruktion von Signalen sowie die Spektral- und Korrelationsanalyse solcher Signale untersucht, sehr eng gekoppelt.
Die Informationstheorie betrachtet das Grundkonzept"Informationen" zum größten Teil von der quantitativen Seite, ohne Berücksichtigung ihres Wertes und manchmal der Bedeutung. Bei diesem Ansatz enthält die Textseite ungefähr die gleiche Datenmenge, die nur durch die Anzahl der Zeichen und Symbole bestimmt wird, und hängt nicht davon ab, was dort tatsächlich gedruckt wird, auch wenn es sich um eine absolut bedeutungslose und chaotische Menge bestimmter Zeichen handelt.
Dieser Ansatz ist legitim, aber nur fürModellierung von Kommunikationssystemen, da sie Informationen über Kommunikationskanäle genau übertragen müssen, die durch einen beliebigen Satz von Zeichen und Symbolen dargestellt werden können. Gleichzeitig ist ein quantitativer Ansatz inakzeptabel, wenn Wert und Bedeutung der Daten berücksichtigt werden müssen. Solche Umstände schränken die Anwendungsmöglichkeiten dieser Theorie erheblich ein.
Die Grundlagen der Informationstheorie legen naheBerücksichtigung verschiedener Fragen, auch in direktem Zusammenhang mit der Übermittlung und dem Empfang von Daten. Das grundlegende Kommunikationsschema, das in der Lehre berücksichtigt wird, ist wie folgt. Informationstheorie und Codierung считает, что данные создаются источником Nachrichten, bei denen es sich um ein Wort oder eine Gruppe von Wörtern handelt, die in Buchstaben eines bestimmten Alphabets geschrieben sind. Die Quelle der Nachricht kann Text in einer beliebigen natürlichen oder künstlichen Sprache sein, menschliche Sprache, Datenbanken und einige mathematische Modelle, die eine Folge von Buchstaben erzeugen. Der Sender wandelt die Nachricht in ein Signal um, das der physikalischen Natur des Kommunikationskanals entspricht - dem Medium zur Übertragung des Signals. Während des Durchlaufs kann es durch Interferenzen beeinträchtigt werden, die die Werte der Informationsparameter verfälschen. Der Empfänger stellt die ursprüngliche Nachricht auf dem empfangenen Signal mit Verzerrung wieder her. Die Nachricht in der wiederhergestellten Form geht an den Adressaten - an eine Person oder ein technisches Gerät.
Die Quelle der Nachricht ist statistisch,Das heißt, das Auftreten jeder Nachricht wird durch eine bestimmte Wahrscheinlichkeit bestimmt. Die Informationstheorie Shannon glaubt, dass wenn die Wahrscheinlichkeit einer Nachricht gleich eins ist, das heißt, dass ihr Erscheinungsbild zuverlässig ist und es keine Mehrdeutigkeiten gibt, dass sie keine Informationen enthält.
Eines der wichtigen Probleme der Informationstheorie ist die Koordination des Kommunikationskanals und der Informationseigenschaften der Nachrichtenquelle. Der Durchsatz wird durch eine Maßeinheit von 1 Bit pro Sekunde bestimmt.
Eines der Probleme von Kommunikationssystemen liegt in Störungender Weg des Nutzsignals. Shannons Theorem gibt uns leider keine konkrete Methode, mit solchen umzugehen. Die einfachste Eliminierungsmethode, die in der wiederholten Wiederholung von Nachrichten besteht, ist nicht sehr effektiv, da die Übertragung von Informationen viel Zeit in Anspruch nimmt. Viel effektiver ist die Verwendung von Codes, mit denen Sie Fehler bei der Informationsübertragung erkennen und korrigieren können.
