Los conceptos básicos de esta teoría fueron introducidos en los años cuarenta del siglo XX por K. Shannon. Teoría de la información Es una ciencia sobre los procesos de transferencia, almacenamiento yadquisición de datos en sistemas naturales, técnicos y sociales. En muchos campos científicos aplicados, como la informática, la lingüística, la criptografía, la teoría de control, el procesamiento de imágenes, la genética, la psicología, la economía, la organización de producción, se utilizan los métodos de esta ciencia.
En condiciones modernas con la teoría de la información.La teoría de la codificación, que considera los problemas más comunes de correspondencia entre una señal y un mensaje, y la teoría del procesamiento de señales, que estudia la cuantización y la reconstrucción de las señales, así como el análisis espectral y de correlación, están estrechamente vinculados.
Теория информации рассматривает базовое понятие La "información" en su mayor parte es cuantitativa, sin considerar su valor y, a veces, su significado. Con este enfoque, una página de texto contendrá aproximadamente la misma cantidad de datos, determinada solo por el número de caracteres y símbolos, y no dependiendo de lo que, estrictamente hablando, se imprima allí, incluso si es un conjunto caótico de ciertos caracteres absolutamente sin sentido.
Este enfoque es válido, pero solo paramodelado de sistemas de comunicación, ya que deben transmitir información con precisión a través de canales de comunicación, que pueden ser representados por cualquier conjunto de signos y símbolos. Entonces, cuando es necesario tener en cuenta el valor y el significado de los datos, un enfoque cuantitativo es inaceptable. Tales circunstancias imponen restricciones significativas sobre el alcance de la posible aplicación de esta teoría.
Los fundamentos de la teoría de la información sugierenconsideración de varios problemas, incluidos los relacionados directamente con la transmisión y recepción de datos. El esquema básico de comunicación, que se considera en la enseñanza, es el siguiente. Teoría de la información y la codificación cree que los datos son creados por la fuentemensajes, que es una palabra o un conjunto de palabras escritas en letras de un determinado alfabeto. La fuente del mensaje puede ser texto en cualquier lenguaje natural o artificial, lenguaje humano, bases de datos y algunos modelos matemáticos que crean una secuencia de letras. El transmisor convierte el mensaje en una señal correspondiente a la naturaleza física del canal de comunicación, el medio para la transmisión de la señal. Durante el paso de los mismos, puede verse afectado por la interferencia, introduciendo distorsiones en los valores de los parámetros de información. El receptor restaura el mensaje original en la señal recibida con distorsión. El mensaje en el formulario restaurado llega al destinatario: una determinada persona o dispositivo técnico.
Источник сообщения имеет статистический характер, es decir, la apariencia de cada mensaje está determinada por alguna probabilidad. La teoría de la información de Shannon cree que si la probabilidad de que aparezca un mensaje es uno, es decir, su apariencia es confiable y no hay incertidumbre, creen que no lleva ninguna información.
Uno de los problemas importantes de la teoría de la información considera la coordinación del canal de comunicación y las propiedades de información de la fuente del mensaje. El ancho de banda está determinado por una unidad de medida de 1 bit por segundo.
Uno de los problemas de los sistemas de comunicación es la interferencia enEl camino de la señal útil. El teorema de Shannon, desafortunadamente, no nos da un método concreto para tratarlo. El método más simple de eliminación, que consiste en la repetición repetida de mensajes, no es muy efectivo, ya que lleva mucho tiempo transmitir información. Mucho más eficiente es el uso de códigos que le permiten detectar y corregir errores en la transmisión de información.
