Οι βασικές έννοιες αυτής της θεωρίας εισήχθησαν στις σαράντα του εικοστού αιώνα από τον K. Shannon. Θεωρία πληροφοριών – это наука о процессах передачи, хранения и την απόκτηση δεδομένων σε φυσικά, τεχνικά και κοινωνικά συστήματα. Σε πολλά εφαρμοσμένα επιστημονικά πεδία, όπως η επιστήμη των υπολογιστών, η γλωσσολογία, η κρυπτογραφία, η θεωρία ελέγχου, η επεξεργασία εικόνων, η γενετική, η ψυχολογία, η οικονομία, η οργάνωση της παραγωγής, χρησιμοποιούνται μέθοδοι αυτής της επιστήμης.
Σε σύγχρονες συνθήκες με τη θεωρία της πληροφορίαςη θεωρία της κωδικοποίησης, η οποία εξετάζει τα συνηθέστερα προβλήματα της αντιστοιχίας μεταξύ ενός σήματος και ενός μηνύματος, και η θεωρία της επεξεργασίας σημάτων, η οποία μελετά την ποσοτικοποίηση και την ανασυγκρότηση των σημάτων, καθώς και τη φασματική ανάλυση και την ανάλυση συσχετισμού, είναι πολύ σφιχτά συζευγμένα.
Θεωρία πληροφοριών θεωρεί μια βασική έννοιαΗ "πληροφορία" είναι ως επί το πλείστον ποσοτική, χωρίς να λαμβάνεται υπόψη η αξία της και μερικές φορές η σημασία της. Με αυτή την προσέγγιση, μια σελίδα κειμένου θα περιέχει περίπου το ίδιο ποσό δεδομένων, που καθορίζεται μόνο από τον αριθμό των χαρακτήρων και των συμβόλων, και όχι ανάλογα με το τι στην πραγματικότητα εκτυπώνεται εκεί, ακόμα και αν είναι απολύτως χωρίς νόημα και χαοτική σειρά συγκεκριμένων χαρακτήρων.
Αυτή η προσέγγιση είναι έγκυρη, αλλά μόνο γιαμοντελοποίηση συστημάτων επικοινωνίας, δεδομένου ότι πρέπει να μεταδίδουν με ακρίβεια πληροφορίες μέσω καναλιών επικοινωνίας, τα οποία μπορούν να αναπαρασταθούν από οποιοδήποτε σύνολο σημείων και συμβόλων. Στη συνέχεια, όταν είναι απαραίτητο να ληφθεί υπόψη η αξία και η έννοια των δεδομένων, μια ποσοτική προσέγγιση είναι απαράδεκτη. Τέτοιες περιστάσεις επιβάλλουν σημαντικούς περιορισμούς στο πεδίο εφαρμογής της πιθανής εφαρμογής αυτής της θεωρίας.
Τα βασικά στοιχεία της θεωρίας πληροφοριών υποδεικνύουνεξέταση διαφόρων θεμάτων, συμπεριλαμβανομένων εκείνων που σχετίζονται άμεσα με τη διαβίβαση και λήψη δεδομένων. Το βασικό σύστημα επικοινωνίας, το οποίο εξετάζεται στη διδασκαλία, έχει ως εξής. Θεωρία πληροφοριών και κωδικοποίησης πιστεύει ότι τα δεδομένα δημιουργούνται από την πηγήμηνύματα, που είναι μια λέξη ή μια σειρά λέξεων που γράφονται με γράμματα ενός συγκεκριμένου αλφάβητου. Η πηγή μηνύματος μπορεί να είναι κείμενο σε οποιαδήποτε φυσική ή τεχνητή γλώσσα, ανθρώπινη ομιλία, βάσεις δεδομένων και μερικά μαθηματικά μοντέλα που δημιουργούν μια σειρά γραμμάτων. Ο πομπός μετατρέπει το μήνυμα σε ένα σήμα που αντιστοιχεί στη φυσική φύση του καναλιού επικοινωνίας - το μέσο μετάδοσης σήματος. Κατά τη διάρκεια της μετάβασης, μπορεί να επηρεαστεί από παρεμβολές, εισάγοντας στρεβλώσεις στις τιμές των παραμέτρων πληροφοριών. Ο δέκτης επαναφέρει το αρχικό μήνυμα στο ληφθέν σήμα με παραμόρφωση. Το μήνυμα στην αποκατασταθείσα φόρμα φτάνει στον παραλήπτη - ένα συγκεκριμένο άτομο ή μια τεχνική συσκευή.
Источник сообщения имеет статистический характер, δηλαδή, η εμφάνιση κάθε μηνύματος καθορίζεται από κάποια πιθανότητα. Η θεωρία της πληροφορίας του Shannon πιστεύει ότι εάν η πιθανότητα εμφάνισης ενός μηνύματος είναι μία, δηλαδή η εμφάνισή του είναι αξιόπιστη και δεν υπάρχει αβεβαιότητα, πιστεύει ότι δεν έχει καμία πληροφορία.
Ένα από τα σημαντικά προβλήματα της θεωρίας των πληροφοριών θεωρεί τον συντονισμό του κανάλι επικοινωνίας και τις ιδιότητες πληροφοριών της πηγής μηνύματος. Το εύρος ζώνης καθορίζεται από μια μονάδα μέτρησης 1 bit ανά δευτερόλεπτο.
Ένα από τα προβλήματα των συστημάτων επικοινωνίας είναι η παρέμβασητη διαδρομή του χρήσιμου σήματος. Το θεώρημα του Shannon, δυστυχώς, δεν μας δίνει συγκεκριμένη μέθοδο αντιμετώπισης τέτοιων. Η απλούστερη μέθοδος εξάλειψης, η οποία συνίσταται στην επαναλαμβανόμενη επανάληψη μηνυμάτων, δεν είναι πολύ αποτελεσματική, δεδομένου ότι χρειάζεται πολύς χρόνος για τη μετάδοση πληροφοριών. Πολύ μεγαλύτερη αποτελεσματικότητα δίνεται από τη χρήση κωδικών που σας επιτρέπουν να ανιχνεύετε και να διορθώνετε λάθη στη διαβίβαση πληροφοριών.
