Εντροπία πληροφοριών
Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια
Η εντροπία στη θεωρία της πληροφορίας είναι ένα "μέτρο αβεβαιότητας" που διακατέχει ένα σύστημα.
Ο όρος εντροπία χρησημοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία της πληροφορίας εισήχθη από τον Shannon το 1938 και για αυτο τον λόγο ονομάζεται και εντροπία του Shannon. Πλέον η εντροπία της θερμοδυναμικής μπορεί να ιδωθεί ως εφαρμογή της εντροπίας στη θεωρία της πληροφορίας.
Πίνακας περιεχομένων |
[Επεξεργασία] Ορισμός
Έστω ένα πείραμα τύχης με n πιθανά αποτελέσματα. Θεωρούμε την τυχαία μεταβλητή X και τα απλά ενδεχόμενα x1...xn που πραγματοποιούνται μα πιθανότητες p1...pn αντίστοιχα. Η εντροπία ορίζεται ως:
με την σύμβαση 0log20 = 0.
[Επεξεργασία] Παραδείγματα
[Επεξεργασία] Δοκιμή Bernoulli
Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι άσπρες και Ν(1-p) μαύρες από το οποίο τραβάμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι ασπρες ή όλες είναι μαύρες (p=1 ή p=0 αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι ασπρες και οι μισές μαύρες, p=0,5.
[Επεξεργασία] Ισοπίθανα γεγονότα
'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n. Η εντροπία τότε είναι:
.
Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.