Кількість інформації в повідомленні визначається тим, наскільки зменшиться невизначеність після одержання повідомлення. З цього погляду, кількість інформації, що міститься в отриманому повідомленні, є тим більшою, чим більшою була невизначеність до передачі повідомлення.
Міра кількості інформації, як невизначеності вибору дискретним джерелом стану з ансамблю U, запропонована К. Шенноном в 1946 році й одержала назву ентропії дискретного джерела інформації або ентропії кінцевого ансамблю: H(U) = – pn log2 pn.
Отже, кількість інформації, яку можна отримати від довільної кількості взаємонезалежних систем, що взаємодіють, визначається сумою кількостей інформації, які можна отримати про кожну з них зокрема.
Фізичний зміст ентропії – це середньостатистична міра невизначеності знань одержувача інформації щодо стану спостережуваного об'єкта.
Зазвичай, як інформаційну ентропію використовують ентропію Шенона. Ентропія (фізика) — фізична величина, яка в спостережуваних явищах і процесах характеризує знецінювання (розсіювання) енергії, зумовлене перетворенням усіх її видів на теплову і рівномірним розподілом тепла між тілами (вирівнювання їхніх температур).
Тому формула (7.23) дозволяє визначити кількість інформації в повідомленні тільки для випадку, коли поява символів равновероятно і вони статистично незалежні.