Podstawowe pojęcia tej teorii zostały wprowadzone w latach czterdziestych XX wieku przez K. Shannona. Teoria informacji Jest nauką o procesach transferu, przechowywania iakwizycja danych w systemach naturalnych, technicznych i społecznych. W wielu stosowanych dziedzinach naukowych, takich jak informatyka, językoznawstwo, kryptografia, teoria kontroli, przetwarzanie obrazu, genetyka, psychologia, ekonomia, organizacja produkcji, stosowane są metody tej nauki.
В современных условиях с теорией информации teoria kodowania, która uwzględnia najczęstsze problemy dotyczące zgodności między sygnałem i komunikatem, oraz teoria przetwarzania sygnału, która bada kwantyzację i rekonstrukcję sygnałów, a także analizę spektralną i korelacji takich sygnałów, są bardzo ściśle ze sobą powiązane.
Teoria informacji rozważa podstawową koncepcję„Informacja” jest w przeważającej części ilościowa, nie biorąc pod uwagę jej wartości, a czasem i znaczenia. Przy takim podejściu strona tekstu będzie zawierała w przybliżeniu taką samą ilość danych, określaną tylko liczbą znaków i symboli, i nie zależnie od tego, co w rzeczywistości jest tam drukowane, nawet jeśli jest to absolutnie bezsensowny i chaotyczny zestaw niektórych znaków.
To podejście jest ważne, ale tylko dlasymulacja systemów komunikacyjnych, ponieważ muszą one dokładnie przekazywać informacje kanałami komunikacyjnymi, które mogą być reprezentowane przez dowolny zestaw znaków i symboli. Następnie, gdy konieczne jest uwzględnienie wartości i znaczenia danych, podejście ilościowe jest niedopuszczalne. Takie okoliczności nakładają znaczne ograniczenia w zakresie możliwego zastosowania tej teorii.
Sugerują podstawy teorii informacjirozpatrywanie różnych kwestii, w tym bezpośrednio związanych z przesyłaniem i odbiorem danych. Podstawowy schemat komunikacji, który jest rozważany w nauczaniu, jest następujący. Informacje i teoria kodowania считает, что данные создаются источником wiadomości, które są słowem lub zestawem słów zapisanych literami określonego alfabetu. Źródłem wiadomości może być tekst w dowolnym języku naturalnym lub sztucznym, mowa ludzka, bazy danych i niektóre modele matematyczne, które tworzą ciąg liter. Nadajnik przekształca komunikat w sygnał odpowiadający fizycznemu charakterowi kanału komunikacyjnego - medium do transmisji sygnału. Podczas przejścia takich zakłóceń mogą na nie wpływać zakłócenia, wprowadzając zniekształcenia do wartości parametrów informacyjnych. Odbiornik przywraca oryginalną wiadomość na odbieranym sygnale ze zniekształceniem. Wiadomość w przywróconej formie dociera do adresata - określonej osoby lub urządzenia technicznego.
Źródło wiadomości ma charakter statystyczny,to znaczy, pojawienie się każdej wiadomości zależy od pewnego prawdopodobieństwa. Teoria informacji Shannona uważa, że jeśli prawdopodobieństwo pojawienia się wiadomości jest takie, to znaczy, że jest ona wiarygodna i nie ma wątpliwości, uważają, że nie zawiera ona żadnych informacji.
Jednym z ważnych problemów teorii informacji jest koordynacja kanału komunikacyjnego i właściwości informacji źródła wiadomości. Przepustowość jest określana przez jednostkę miary 1 bit na sekundę.
Одной из проблем систем связи являются помехи на ścieżka użytecznego sygnału. Twierdzenie Shannona niestety nie daje nam konkretnej metody radzenia sobie z takimi. Najprostsza metoda eliminacji, polegająca na powtarzaniu wiadomości, nie jest zbyt skuteczna, ponieważ przekazanie informacji zajmuje dużo czasu. Znacznie większą efektywność zapewnia stosowanie kodów, które pozwalają wykrywać i korygować błędy w przesyłaniu informacji.
