Кількість інформації

Матеріал з Вікіпедії — вільної енциклопедії.

Кількість інформації (англ. information content) — міра інформації, яка міститься в повідомленні. В теорії інформації: міра інформації, про яку сповіщає поява події певної ймовірності; або міра, що характеризує зменшення невизначеності, яка міститься в одній випадковій величині відносно іншої.

Кількість інформації І, що утримується в елементарному повідомленні xi є деякою функцією від ймовірності передачі цього повідомлення P(xi):

I(xi) = fP(xi)

Якщо вибір повідомлення xi зазделегідь визначений (P(xi) = 1 — невизначеності немає), то кількість інформації в цьому повідомленні дорівнює нулеві.

Кількість інформації можна визначити так:

I(xi) = − logP(xi)

Кількість інформації, що отримується в одному елементарному повідомленні xi, ще ніяк не характеризує джерело. Одні елементарні повідомлення можуть нести багато інформації, але передаватися дуже рідко, інші — передаватися частіше, але нести менше інформації. Тому джерело може бути охарактеризоване середньою кількістю інформації, що приходиться на одне елементарне повідомлення, що носить назву «ентропія джерела».

[ред.] Дивіться також

Іншими мовами