Os conceitos básicos dessa teoria foram introduzidos nos anos quarenta do século XX por K. Shannon. Teoria da informação É uma ciência sobre os processos de transferência, armazenamento eaquisição de dados em sistemas naturais, técnicos e sociais. Em muitos campos científicos aplicados, como ciência da computação, linguística, criptografia, teoria de controle, processamento de imagens, genética, psicologia, economia, organização da produção, são utilizados métodos dessa ciência.
Em condições modernas com a teoria da informaçãoa teoria da codificação, que considera os problemas mais comuns de correspondência entre um sinal e uma mensagem, e a teoria do processamento de sinais, que estuda a quantização e a reconstrução de sinais, bem como a análise espectral e de correlação, são muito fortemente acopladas.
A teoria da informação considera um conceito básico“Informação” é em grande parte quantitativa, sem considerar seu valor e, às vezes, seu significado. Com essa abordagem, uma página de texto conterá aproximadamente a mesma quantidade de dados, determinada apenas pelo número de caracteres e símbolos, e não dependendo do que, de fato, é impresso ali, mesmo que seja um conjunto absolutamente sem sentido e caótico de certos caracteres.
Essa abordagem é válida, mas apenas paramodelagem de sistemas de comunicação, uma vez que eles devem transmitir informações com precisão pelos canais de comunicação, que podem ser representados por qualquer conjunto de sinais e símbolos. Então, quando é necessário levar em consideração o valor e o significado dos dados, uma abordagem quantitativa é inaceitável. Tais circunstâncias impõem restrições significativas no campo da possível aplicação desta teoria.
O básico da teoria da informação sugereconsideração de várias questões, incluindo aquelas diretamente relacionadas à transmissão e recepção de dados. O esquema básico de comunicação, considerado no ensino, é o seguinte. Teoria da Informação e Codificação acredita que os dados são criados pela fontemensagens, que é uma palavra ou um conjunto de palavras escritas nas letras de um alfabeto em particular. A fonte da mensagem pode ser texto em qualquer linguagem natural ou artificial, fala humana, bancos de dados e alguns modelos matemáticos que criam uma sequência de letras. O transmissor converte a mensagem em um sinal correspondente à natureza física do canal de comunicação - o meio de transmissão do sinal. Durante a passagem de tal, pode ser afetado por interferências, introduzindo distorções nos valores dos parâmetros de informação. O receptor restaura a mensagem original no sinal recebido com distorção. A mensagem no formulário restaurado chega ao destinatário - uma determinada pessoa ou dispositivo técnico.
A fonte da mensagem é de natureza estatística,isto é, a aparência de cada mensagem é determinada por alguma probabilidade. A teoria da informação de Shannon acredita que, se a probabilidade de uma mensagem aparecer é uma, ou seja, sua aparência é confiável e não há incerteza, eles acreditam que ela não carrega nenhuma informação.
Um dos problemas importantes da teoria da informação considera a coordenação do canal de comunicação e as propriedades da informação da fonte da mensagem. A largura de banda é determinada por uma unidade de medida de 1 bit por segundo.
Um dos problemas dos sistemas de comunicação é a interferência emo caminho do sinal útil. Infelizmente, o teorema de Shannon não nos dá um método concreto de lidar com isso. O método mais simples de eliminação, que consiste na repetição repetida de mensagens, não é muito eficaz, pois leva muito tempo para transmitir informações. Uma eficiência muito maior é dada pelo uso de códigos que permitem detectar e corrigir erros na transmissão de informações.
