تم تقديم المفاهيم الأساسية لهذه النظرية في الأربعينيات من القرن العشرين بواسطة سي. نظرية المعلومات – это наука о процессах передачи, хранения и الحصول على البيانات في النظم الطبيعية والتقنية والاجتماعية. في العديد من المجالات العلمية التطبيقية ، مثل علوم الكمبيوتر ، واللغويات ، والتشفير ، ونظرية التحكم ، ومعالجة الصور ، وعلم الوراثة ، وعلم النفس ، والاقتصاد ، وتنظيم الإنتاج ، يتم استخدام أساليب هذا العلم.
В современных условиях с теорией информации تقترن نظرية الترميز بإحكام شديد ، مع الأخذ في الاعتبار أكثر مشكلات المراسلات شيوعًا بين الإشارة والرسالة ، ونظرية معالجة الإشارات ، التي تتم فيها دراسة القياس الكمي للإشارات وإعادة بنائها ، وكذلك تحليل الطيف وتحليل الارتباط.
Теория информации рассматривает базовое понятие "المعلومات" بالنسبة للجزء الأكبر من الجانب الكمي ، مع عدم مراعاة قيمتها ، وأحيانا المعنى. من خلال هذا النهج ، ستحتوي الصفحة النصية على نفس كمية البيانات تقريبًا ، ويتم تحديدها فقط بعدد الأحرف والرموز ، وليس وفقًا لما يتم طباعته فعليًا هناك ، حتى لو كانت عبارة عن مجموعة من الفوضى لا معنى لها على الإطلاق من أحرف معينة.
هذا النهج هو مشروع ، ولكن فقط لنمذجة أنظمة الاتصالات ، حيث يجب أن تنقل المعلومات بدقة عبر قنوات الاتصال ، والتي يمكن أن تمثلها أي مجموعة من الشخصيات والرموز. في الوقت نفسه ، عندما يكون من الضروري مراعاة قيمة البيانات ومعنىها ، يكون النهج الكمي غير مقبول. تفرض مثل هذه الظروف قيودًا كبيرة على مجالات التطبيق المحتمل لهذه النظرية.
أساسيات نظرية المعلومات توحيالنظر في مختلف القضايا ، بما في ذلك تتعلق مباشرة بنقل واستقبال البيانات. مخطط التواصل الأساسي ، الذي يعتبر في التدريس ، هو على النحو التالي. نظرية المعلومات والترميز يعتقد أن البيانات يتم إنشاؤها بواسطة المصدرالرسائل ، وهي كلمة أو مجموعة من الكلمات المكتوبة بأحرف أبجدية معينة. يمكن أن يكون مصدر الرسالة نصًا بأي لغة طبيعية أو اصطناعية ، وكلامًا بشريًا ، وقواعد بيانات وبعض النماذج الرياضية التي تنشئ سلسلة من الحروف. يحول المرسل الرسالة إلى إشارة تقابل الطبيعة المادية لقناة الاتصال - الوسيلة لإرسال الإشارة. أثناء مرور هذا ، يمكن أن يتأثر بالتداخل الذي يشوه قيم معلمات المعلومات. يستعيد جهاز الاستقبال الرسالة الأصلية على الإشارة المستلمة بتشويه. الرسالة في النموذج المستعاد تأتي إلى المرسل إليه - لشخص ما أو جهاز فني.
مصدر الرسالة إحصائي بطبيعته ،بمعنى ، يتم تحديد مظهر كل رسالة بواسطة بعض الاحتمالات. تعتقد نظرية المعلومات الخاصة بشانون أنه إذا كان احتمال ظهور الرسالة واحداً ، أي أن مظهرها يمكن الاعتماد عليه وليس هناك عدم يقين ، فإنهم يعتقدون أنه لا يحمل أي معلومات.
واحدة من المشاكل المهمة في نظرية المعلومات هي تنسيق قناة الاتصال وخصائص معلومات مصدر الرسالة. يتم تحديد الإنتاجية بواسطة وحدة قياس 1 بت في الثانية.
واحدة من مشاكل أنظمة الاتصالات هو التدخل علىمسار الإشارة المفيدة. نظرية شانون ، للأسف ، لا تعطينا طريقة ملموسة للتعامل مع مثل هذه. إن أبسط طريقة للتخلص ، والتي تتكون من تكرار متكرر للرسائل ، ليست فعالة للغاية ، حيث أن نقل المعلومات يستغرق الكثير من الوقت. أكثر فعالية بكثير هو استخدام الرموز التي تسمح لك باكتشاف وتصحيح الأخطاء في نقل المعلومات.