Кількість інформації
Матеріал з Вікіпедії — вільної енциклопедії.
Кількість інформації (англ. information content) — міра інформації, яка міститься в повідомленні. В теорії інформації: міра інформації, про яку сповіщає поява події певної ймовірності; або міра, що характеризує зменшення невизначеності, яка міститься в одній випадковій величині відносно іншої.
Кількість інформації І, що утримується в елементарному повідомленні xi є деякою функцією від ймовірності передачі цього повідомлення P(xi):
- I(xi) = fP(xi)
Якщо вибір повідомлення xi зазделегідь визначений (P(xi) = 1 — невизначеності немає), то кількість інформації в цьому повідомленні дорівнює нулеві.
Кількість інформації можна визначити так:
- I(xi) = − logP(xi)
Кількість інформації, що отримується в одному елементарному повідомленні xi, ще ніяк не характеризує джерело. Одні елементарні повідомлення можуть нести багато інформації, але передаватися дуже рідко, інші — передаватися частіше, але нести менше інформації. Тому джерело може бути охарактеризоване середньою кількістю інформації, що приходиться на одне елементарне повідомлення, що носить назву «ентропія джерела».