Šīs teorijas pamatjēdzieni tika ieviesti C. Shannon 20. gadsimta četrdesmitajos gados. Informācijas teorija - ir zinātne par nodošanu, uzglabāšanu undatu iegūšana dabiskās, tehniskās un sociālās sistēmās. Daudzās pielietojamās zinātnes jomās, piemēram, datorzinātnē, lingvistikā, kriptogrāfijā, kontroles teorijā, attēlu apstrādē, ģenētikā, psiholoģijā, ekonomikā, ražošanas organizācijā, tiek izmantotas šīs zinātnes metodes.
Mūsdienu apstākļos ar informācijas teorijukodēšanas teorija ir ļoti cieši saistīta, ņemot vērā visbiežāk sastopamās problēmas starp signālu un ziņojumu un signālu apstrādes teoriju, kurā tiek pētīta signālu kvanīšana un rekonstrukcija, kā arī to spektrālā un korelācijas analīze.
Informācijas teorija uzskata pamatjēdzienu"Informācija" lielākoties no kvantitātes puses, neņemot vērā tās vērtību, un dažreiz arī nozīmi. Ar šo pieeju teksta lappuse satur apmēram tādu pašu datu apjomu, ko nosaka tikai ar rakstzīmju un simbolu skaitu, nevis atkarībā no tā, kas, stingri sakot, ir drukāts, pat ja tas ir absolūti bezjēdzīgs un haotisks noteiktu rakstzīmju kopums.
Šī pieeja ir derīga, bet tikai parkomunikāciju sistēmu modelēšana, jo tām precīzi jānosūta informācija, izmantojot saziņas kanālus, ko var attēlot ar jebkuru rakstzīmju un simbolu kopu. Tajā pašā laikā, kad ir jāņem vērā datu vērtība un nozīme, kvantitatīva pieeja ir nepieņemama. Šādi apstākļi nosaka ievērojamus ierobežojumus iespējamās šīs teorijas piemērošanas jomās.
Informācijas teorijas pamati liecinadažādu jautājumu izskatīšana, tostarp tieši saistīta ar datu nosūtīšanu un saņemšanu. Pamatzināšanas shēma, kas tiek ņemta vērā mācību procesā, ir šāda. Informācijas teorija un kodēšana uzskata, ka datus veido avotsziņojumi, kas ir vārds vai vārdu kopums, kas rakstīts ar noteiktu alfabētu burtiem. Ziņas avots var būt teksts jebkurā dabiskajā vai mākslīgajā valodā, cilvēka runā, datu bāzēs un daži matemātiski modeļi, kas veido burtu secību. Raidītājs pārveido ziņojumu signālam, kas atbilst saziņas kanāla fiziskajai dabai - signālu pārraidīšanai. Šādu caursienu laikā to var ietekmēt traucējumi, kas kropļo informācijas parametru vērtības. Uztvērējs atgūst sākotnējo ziņojumu no signāla, kas saņemts ar traucējumiem. Paziņojums atjaunotajā formā nāk adresātam - kādai personai vai tehniskai ierīcei.
Ziņojuma avots ir statistikas,tas ir, katra ziņojuma izskatu nosaka noteikta varbūtība. Informācijas teorija Šenona uzskata, ka, ja ziņojuma varbūtība ir vienāda ar vienu, tas ir, tā izskats ir ticams un nav nekādas neskaidrības, uzskata, ka tā nesniedz nekādu informāciju.
Viena no svarīgākajām informācijas teorijas problēmām ir sakaru kanāla un ziņojuma avota informācijas īpašību koordinācija. Caurlaidību nosaka mērvienība ar 1 bitu sekundē.
Viena no komunikāciju sistēmu problēmām ir iejaukšanāsnoderīgā signāla ceļš. Šenona teorēma, diemžēl, nedod mums konkrētu metodi, kā rīkoties ar šādu. Vienkāršākā novēršanas metode, kas sastāv no atkārtotas ziņojumu atkārtošanas, nav ļoti efektīva, jo informācijas pārsūtīšana prasa daudz laika. Daudz efektīvāka ir kodu izmantošana, kas ļauj atklāt un labot informācijas pārsūtīšanas kļūdas.
