Презентация на тему: "Презентация к уроку "Измерение информации""

Алфавитный и вероятностный подход
к определению количества информации

Вероятностный подход к измерению количества информации является внутренним, смысловым (или семантическим).
В этом случае имеет значение содержание получаемой (или передаваемой) информации, ее смысл.
За единицу измерения количества информации принят:
1 бит.

При семантическом подходе за 1 бит принято такое количество информации, которую мы получаем тогда, когда происходит одно из двух равновероятных событий или количество информации, которая уменьшает неопределенность наших знаний в два раза.

Рассмотрим поле из 16 клеток…
Предположим, что один из игроков поставил крестик так:
Пока действие не произошло, второй игрок имел ПОЛНОЕ НЕЗНАНИЕ (или полную неопределенность знания) относительно того, куда будет поставлен крестик.
Сколько раз неопределенность знаний второго игрока уменьшилась в два раза?
Он узнал, что первый игрок выбрал часть поля…
Он узнал, что первый игрок выбрал часть из оставшегося поля…
ЭТО РАЗ!
Он узнал, что первый игрок выбрал из двух оставшихся клеток одну…
ЭТО ДВА!
ЭТО ТРИ!
Он узнал, что первый игрок выбрал часть из оставшегося поля…
ЭТО ЧЕТЫРЕ!
Значит, когда один из игроков поставил крестик, второй получил при этом ЧЕТЫРЕ БИТА информации!

Если количество клеток уменьшить до 8, то количество информации, получаемое вторым игроком при постановке крестика в одну из клеток, уменьшится до 3 бит.
А если клеток будет 4, то при постановке крестика будет получено 2 бита информации.
Таким образом, при постановке одним из игроков крестика на поле из 16 клеток второй игрок получит 4 бита информации.
ПРОВЕРЬТЕ!

Если N - число вариантов равновероятностных событий (неопределенность знаний), то
i - количество информации (в битах) в сообщении о том, что произошло одно из N событий, определяется из формулы N=2I.
4=22
8=23
16=24
32=25

Для того, чтобы решать задачи на определение количества информации при семантическом подходе, необходимо знать таблицу степеней числа 2:

Так, если происходит угадывание числа, задуманного в диапазоне от 1 до 128, то при оптимальной стратегии игры (выбор числа в середине диапазона) угадывающему необходимо будет задать 7 вопросов,
так как 128 = 27
Вытаскивание из мешочка одного из 16 шаров (разного цвета) несет 4 бита информации,
так как 16 = 24

поскольку в этом случае выпадение каждого из шаров равновероятно.

Итак, количество информации (I), которое мы получаем тогда происходит одно из N равновероятный событий (или когда неопределенность наших знаний уменьшается в N раз) мы можем вычислить по формуле:
N=2I
Данная формула была предложена в 1928 году американским инженером-связистом Хартли и поэтому носит его имя.

Величину i в информатике называют энтропией.
Понятно, что получить знание, значит, снять неопределенность.
Энтропия – это мера неопределенности знаний.
Существует прямая связь между понятием энтропии в информатике и термодинамическим понятием энтропии, так как информация в термодинамике выступает как мера упорядоченности, тогда как энтропия является мерой беспорядка (хаоса).

ПРОВЕРЬ СЕБЯ

Какое минимальное количество информации необходимо получить, чтобы угадать число в диапазоне от 1 до 128?
5 бит

6 бит

7 бит

Какое минимальное количество информации необходимо получить, чтобы угадать число в диапазоне от 1 до 128?
5 бит

6 бит

7 бит

Какое минимальное количество информации необходимо получить, чтобы угадать задуманную букву из заданного набора: А, Е, И, О, У, Ы, Э, Я?
3 бита

4 бита

2 бита

Какое минимальное количество информации необходимо получить, чтобы угадать задуманную букву из заданного набора: А, Е, И, О, У, Ы, Э, Я?
3 бита

4 бита

2 бита

Какое количество информации несет сообщение о том, что вагон находится на одном из 16 путей?
4 бита

5 бит

6 бит

Какое количество информации несет сообщение о том, что вагон находится на одном из 16 путей?
4 бита

5 бит

6 бит

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте.
Множество символов, используемых при записи текста, называется алфавитом.
Полное количество символов в алфавите называется мощностью алфавита

Информационный вес одного символа алфавита (i) мощностью в N символов, определяется по той же формуле Хартли:
N=2I
Если текст содержит K символов, то информация, содержащаяся во всем тексте, равна, соответственно:
I=K * i (бит)

Так один символ из алфавита мощностью 256 (28) символов несет в тексте 8 бит информации.
Такое количество информации называется 1 байт – это следующая по величине единица измерения количества информации.
1 байт = 8 бит

Более крупные единицы измерения количества информации:
1 килобайт (Кбайт) = 1024 (210) байт
1 мегабайт (Мбайт) = 1024 (210) Кбайт
1 гигабайт (Гбайт) = 1024 (210) Мбайт

ПРОВЕРЬ СЕБЯ

Какова мощность алфавита, на котором записано сообщение, содержащее 15 символов, если объем сообщения 105 бит?
64 знака

128 знаков

256 знаков

Какова мощность алфавита, на котором записано сообщение, содержащее 15 символов, если объем сообщения 105 бит?
64 знака

128 знаков

256 знаков