Základné pojmy tejto teórie predstavil v štyridsiatych rokoch dvadsiateho storočia K. Shannon. Informačná teória Je to veda o procesoch prenosu, skladovania azískavanie údajov v prírodných, technických a sociálnych systémoch. V mnohých aplikovaných vedných odboroch, ako je počítačová veda, lingvistika, kryptografia, teória kontroly, spracovanie obrazu, genetika, psychológia, ekonomika, organizácia výroby, sa používajú metódy tejto vedy.
V moderných podmienkach s teóriou informáciíteória kódovania, ktorá berie do úvahy najbežnejšie problémy korešpondencie medzi signálom a správou, a teória spracovania signálu, ktorá študuje kvantizáciu a rekonštrukciu signálov, ako aj ich spektrálna a korelačná analýza, sú veľmi pevne spojené.
Teória informácií považuje základnú koncepciu„Informácie“ sú väčšinou kvantitatívne, nezohľadňujúc ich hodnotu a niekedy aj ich význam. Pri tomto prístupe bude stránka textu obsahovať približne rovnaké množstvo údajov, určené iba počtom znakov a symbolov a nie podľa toho, čo sa v skutočnosti vytlačí, aj keď je to absolútne nezmyselná a chaotická množina určitých znakov.
Tento prístup je platný, ale iba presimulácia komunikačných systémov, pretože musia presne prenášať informácie cez komunikačné kanály, ktoré môžu byť zastúpené akoukoľvek sadou znakov a symbolov. Ak je potrebné zohľadniť hodnotu a význam údajov, potom je kvantitatívny prístup neprijateľný. Takéto okolnosti ukladajú významné obmedzenia v oblasti možného uplatňovania tejto teórie.
Základy teórie informácií naznačujúposúdenie rôznych otázok, vrátane tých, ktoré sa priamo týkajú prenosu a prijímania údajov. Základná komunikačná schéma, ktorá sa uvažuje vo výučbe, je nasledovná. Teória informácií a kódovania je presvedčený, že údaje vytvára zdrojsprávy, čo je slovo alebo skupina slov napísaná písmenami určitej abecedy. Zdrojom správy môže byť text v akýchkoľvek prírodných alebo umelých jazykoch, ľudská reč, databázy a niektoré matematické modely, ktoré vytvárajú postupnosť písmen. Vysielač prevádza správu na signál zodpovedajúci fyzickej povahe komunikačného kanála - médium na prenos signálu. Počas ich priechodu môže byť ovplyvnená interferenciou, ktorá spôsobuje skreslenie hodnôt informačných parametrov. Prijímač obnoví pôvodnú správu na prijatom signáli skreslene. Správa v obnovenej podobe príde k adresátovi - určitej osobe alebo technickému zariadeniu.
Zdroj správy je štatistickej povahy,to znamená, že vzhľad každej správy je určený určitou pravdepodobnosťou. Shannonova teória informácií je presvedčená, že ak je pravdepodobnosť, že sa správa objaví, taká, jej vzhľad je spoľahlivý a nie je žiadna neistota, domnievajú sa, že neobsahuje žiadne informácie.
Jedným z dôležitých problémov teórie informácií je koordinácia komunikačného kanála a informačné vlastnosti zdroja správy. Šírka pásma je určená mernou jednotkou 1 bit za sekundu.
Jedným z problémov komunikačných systémov je rušeniecesta užitočného signálu. Shannonova veta nám, žiaľ, nedáva konkrétny spôsob riešenia. Najjednoduchší spôsob eliminácie, ktorý spočíva v opakovanom opakovaní správ, nie je príliš efektívny, pretože prenos informácií si vyžaduje veľa času. Oveľa väčšia efektívnosť je daná použitím kódov, ktoré vám umožňujú zistiť a opraviť chyby pri prenose informácií.
