ІНФОРМАЦІЙНІ ВИМІРИ КОДУВАННЯ ІНФОРМАЦІЇ
МЕТОДИЧНІ ВКАЗІВКИ
до лабораторної роботи № 5
з дисципліни «Методи опрацювання природної мови»
для магістрів галузі знань 12 «Інформаційні технології»
спеціальності 122 «Комп’ютерні науки та інформаційні технології»
спеціалізації «Системи штучного інтелекту»
Затверджено
на засіданні кафедри інформаційних систем та мереж
Протокол №01 від25.08.2016 р.
Львів-2016
Інформаційні виміри кодування інформації: методичні вказівки до лабораторної роботи № 5 / Укл.: В.А. Висоцька, Т.В. Шестакевич. – Львів: Видавництво Національного університету ”Львівська політехніка”, 2016. – 23 с.
Укладачі Висоцька В.А., к.т.н., доцент
Шестакевич Т.В., асистент
Відповідальний за випуск Литвин В.В., д.т.н., професор.
Рецензенти Берко А.Ю., д.т.н., професор.
Чирун Л.В., к.т.н, доцент.
Мета роботи: розглянути властивості умовної ентропії, її загальний та частковий випадок, а також виміри інформації у випадку її кодування.
- 1УМОВНА ЕНТРОПІЯ ТА ЕНТРОПІЯ ОБ’ЄДНАННЯ
- 2Загальна і часткова умовна ентропія
Поняття умовної ентропії в теорії інформації використовується при визначенні взаємозалежності між символами алфавіту, що кодується, для визначення втрат при передачі інформації по каналах зв’язку, при обчисленні ентропії об’єднання. (Суть взаємозалежності символів букв алфавіту полягає в тому, що ймовірність появи i-ї букви в будь-якому місці повідомлення залежить від того, які букви стоять перед нею і після неї, і буде відрізнятись від безумовної ймовірності pi, яка відома зі статистичних властивостей даного алфавіту)
У всіх випадках при обчисленні умовної ентропії в тому чи іншому вигляді використовуються умовні ймовірності.
(Для ознайомлення з повним текстом статті необхідно залогінитись)