Pagrindinės šios teorijos sąvokos buvo pristatytos XX a. Dešimtmetyje C. Shannon. Informacinė teorija - tai mokslo perdavimas, saugojimas irduomenų rinkimas natūraliose, techninėse ir socialinėse sistemose. Daugelyje taikomųjų mokslų sričių, pvz., Informacinių technologijų, lingvistikos, kriptografijos, valdymo teorijos, vaizdo apdorojimo, genetikos, psichologijos, ekonomikos, gamybos organizavimo, šio mokslo metodų.
Šiuolaikinėmis sąlygomis su teorija informacijoslabai glaudžiai susijęs su kodavimo teorijos atsižvelgiant labiausiai bendras problemas atitikties tarp signalo ir pranešimą, ir signalų apdorojimo teorijos punktą, kur tiriamas kvantavimo ir atkūrimo signalų ir spektrinę analizę ir jos koreliacijos.
Informacijos teorijoje nagrinėjama pagrindinė koncepcija„Informacija“ dažniausiai yra kiekybinė, neatsižvelgiant į jos vertę, o kartais ir į prasmę. Taikant šį metodą, teksto puslapyje bus maždaug tiek pat duomenų, kuriuos lemia tik ženklų ir simbolių skaičius, o ne atsižvelgiant į tai, kas ten iš tikrųjų atspausdinta, net jei jis yra absoliučiai beprasmis ir chaotiškas tam tikrų simbolių rinkinys.
Šis požiūris galioja, bet tikryšių sistemų modeliavimas, nes jos turi tiksliai perduoti informaciją ryšių kanalais, kuriuos gali pavaizduoti bet koks ženklų ir simbolių rinkinys. Tuomet, kai reikia atsižvelgti į duomenų vertę ir prasmę, kiekybinis metodas yra nepriimtinas. Tokios aplinkybės riboja šios teorijos taikymo sritį.
Основы теории информации предполагают įvairių klausimų, įskaitant tiesiogiai susijusius su duomenų perdavimu ir priėmimu, svarstymas. Pagrindinė bendravimo schema, į kurią atsižvelgiama mokant, yra tokia. Informacijos ir kodavimo teorija mano, kad duomenis sukuria šaltinispranešimai, tai yra žodis ar žodžių rinkinys, parašytas tam tikros abėcėlės raidėmis. Pranešimo šaltinis gali būti tekstas bet kuriomis natūraliomis ar dirbtinėmis kalbomis, žmonių kalba, duomenų bazės ir kai kurie matematiniai modeliai, sukuriantys raidžių seką. Siųstuvas pranešimą paverčia signalu, atitinkančiu ryšių kanalo fizinę prigimtį - signalo perdavimo terpę. Praeinant tokius veiksmus gali paveikti trukdžiai, sukeliantys informacijos parametrų reikšmių iškraipymus. Imtuvas atkuria pradinį gauto signalo pranešimą su iškraipymais. Pranešimas atkurta forma atkeliauja adresatui - tam tikram asmeniui ar techniniam prietaisui.
Источник сообщения имеет статистический характер, y., kiekvieno pranešimo išvaizdą lemia tam tikra tikimybė. Šenono informacijos teorija mano, kad jei tikimybė, kad pranešimas pasirodys, yra viena, tai yra, jei jo išvaizda yra patikima ir nėra netikrumo, jie mano, kad jame nėra jokios informacijos.
Viena iš svarbių informacijos teorijos problemų yra komunikacijos kanalo koordinavimas ir pranešimo šaltinio informacijos savybės. Pralaidumas nustatomas matuojant 1 bitą per sekundę.
Viena iš ryšių sistemų problemų yra trikdžiainaudingo signalo kelias. Šenono teorema, deja, nepateikia konkretaus metodo, kaip su tuo susidoroti. Paprasčiausias pašalinimo būdas, kurį sudaro pakartotas pranešimų kartojimas, nėra labai efektyvus, nes informacijos perdavimui reikia daug laiko. Daug didesnį efektyvumą suteikia kodai, kurie leidžia aptikti ir ištaisyti informacijos perdavimo klaidas.
