Εντροπία πληροφοριών

Από τη Βικιπαίδεια, την ελεύθερη εγκυκλοπαίδεια

Η εντροπία στη θεωρία της πληροφορίας είναι ένα "μέτρο αβεβαιότητας" που διακατέχει ένα σύστημα.

Ο όρος εντροπία χρησημοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία). Στη θεωρία της πληροφορίας εισήχθη από τον Shannon το 1938 και για αυτο τον λόγο ονομάζεται και εντροπία του Shannon. Πλέον η εντροπία της θερμοδυναμικής μπορεί να ιδωθεί ως εφαρμογή της εντροπίας στη θεωρία της πληροφορίας.

Πίνακας περιεχομένων

[Επεξεργασία] Ορισμός

Έστω ένα πείραμα τύχης με n πιθανά αποτελέσματα. Θεωρούμε την τυχαία μεταβλητή X και τα απλά ενδεχόμενα x1...xn που πραγματοποιούνται μα πιθανότητες p1...pn (\sum_{i=1}^np_i=1) αντίστοιχα. Η εντροπία ορίζεται ως:

H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,

με την σύμβαση 0log20 = 0.

[Επεξεργασία] Παραδείγματα

Η εντροπία κατα μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας Pr(X = 1) = p
Μεγέθυνση
Η εντροπία κατα μία δοκιμή Bernoulli ως συνάρτηση της πιθανότητας επιτυχίας Pr(X = 1) = p

[Επεξεργασία] Δοκιμή Bernoulli

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p. Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι άσπρες και Ν(1-p) μαύρες από το οποίο τραβάμε τυχαία μία μπάλα. Αν όλες οι μπάλες είναι ασπρες ή όλες είναι μαύρες (p=1 ή p=0 αντίστοιχα), τότε ξέρουμε με σιγουριά το αποτέλεσμα του πειράματος και η εντροπία είναι 0. Τη μέγιστη αβεβαιότητα για το αποτέλεσμα την έχουμε όταν οι μισές μπάλες είναι ασπρες και οι μισές μαύρες, p=0,5.

[Επεξεργασία] Ισοπίθανα γεγονότα

'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n. Η εντροπία τότε είναι:

H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.