Презентация на тему: "Презентация по информатике на тему"Подходы к измерению количества информации""

В презентации использованы слайды
из презентации К.Ю. Полякова
2022 год
Подходы
к
измерению
количества информации

Содержание





Понятие информации
Единицы измерения информации
Подходы к измерению информации
Количество информации как мера уменьшения
неопределенности знания

Понятие информации в различных областях науки и техники


Информация - это сведения об окружающем мире (объекте, процессе, явлении, событии), которые являются объектом преобразования (включая хранение, передачу и т.д.) и используются для выработки поведения, для принятия решения, для управления или для обучения.

Информация - это любые данные или сведения, которые кого-либо интересуют (толковый словарь русского языка С.И. Ожегова).

Информация – это сведения(сообщения, данные) независимо от формы их представления (Федеральный закон Российской Федерации от 27 июля 2006г. №149-ФЗ «Об информации, информационных технологиях и о защите информации»).

Информация – это отражение внешнего мира с помощью знаков или сигналов.
Под информацией в теории информации понимают не любые сведения, а лишь те, которые снимают полностью или уменьшают существующую до их получения неопределенность. По определению К. Шеннона, информация – это снятая неопределенность.

Единицы измерения
1 байт (bytе) = 8 бит
1 Кб (килобайт) = 1024 байта
1 Мб (мегабайт) = 1024 Кб
1 Гб (гигабайт) = 1024 Мб
1 Тб (терабайт) = 1024 Гб
1 Пб (петабайт) = 1024 Тб
210

Перевод в другие единицы
25 Кб =
=25·1024 байт
=25·1024·8 бит
=25:1024 Мб
=25:1024:1024=25:10242 Гб
=25:1024:1024:1024= 25:10243 Тб

крупные
единицы
мелкие
единицы
деление
умножение

Подходы к измерению информации
Алфавитный

Отталкивается от практических нужд хранения и передачи информации в технических системах;
Не связан со смыслом (содержанием) информации;
Определение количества символов с учетом информационного веса каждого символа.
Содержательный
(вероятностный)

Рассматривает восприятие информации человеком;
Имеет дело со смыслом информации;
Определение количества информации, с учетом вероятности наступления события.

Информация и знание
Неопределенность – недостаток знаний (незнание).
при получении информации знания увеличиваются, неопределенность уменьшается
чем больше получено информации, тем больше уменьшается неопределенность
информация – мера уменьшения неопределенности

Как измерить неопределенность?
?
Для человека информация — это знания.
Если некоторое сообщение является информативным, следовательно оно пополняет человека знаниями или уменьшает неопределенность знаний человека.

Количество информации как мера уменьшения неопределенности знания
Рассмотрим, как можно измерить количество информации на примере подбрасывания монеты:
Перед броском существует неопределенность нашего знания.
возможны два события (как упадет монета, предсказать невозможно)
После броска наступает полная определенность
мы видим, (получаем зрительное сообщение), что монета находится в определенном положении («орел» или «решка»)
Это сообщение приводит к уменьшению неопределенности нашего знания в два раза, т.к. из двух равновероятностных событий реализовалось одно.

Неопределенность знания (N) – это количество возможных
вариантов ответов на поставленный вопрос или количество
возможных исходов события.

При подбрасывании шестигранного кубика:
Возможно получить один результат из шести равновероятных событий N=6
После броска
получаем зрительное сообщение о результате, неопределенность знаний уменьшается в шесть раз
Количество информации как мера уменьшения неопределенности знания

Единицы измерения
1 бит (binary digit, двоичная цифра) – это количество информации, которое мы получаем при выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?)
«Да» или «Нет» или

Примеры:
Эта стена – зеленая? Да.
Дверь открыта? Нет.
Сегодня выходной? Нет.
Это новый автомобиль? Новый.
Ты будешь чай или кофе? Кофе.
0
1

Если вариантов больше…
N= 4 – 2 бита
После выполнения контрольной работы ученик имеет неопределенность, он не знает, какую оценку получил: «2», «3», «4» или «5»?
Когда учитель объявляет результаты, ученик получает одно из четырех информационных сообщений: «2», «3», «4» или «5».
«5»
«2»
«3»
«4»
Количество информации
0
0
0
1
1
0
1
1
N=4
N= 8 – 3 бита
?
000 001
010 011
100 101
110 111
N=16 – 4 бита
?
2 бита
N=8

Количество равновероятных возможных событий
Количество информации в сообщении о том, что произошло одно из N событий.
Обозначим
N
i
Количество информации, содержащееся
в сообщении о том, что произошло
одно из N равновероятных событий,
определяется: 2I = N.
Формула Хартли (1928)

Формула Хартли (1928)
i – количество информации в битах
N – количество вариантов
Пример:
В аэропорту стоит 6 самолетов, из них один летит в Москву. Сколько информации в сообщении «В Москву летит второй самолет»?
N=6 
бит
Ответ: i=2,585 (количество информации между 2 и 3 битами)

6 вариантов – между 4 (2 бита) и 8 (3 бита)
?

Количество информации в сообщении об одном из N равновероятных событий:

Алфавит – набор знаков, используемых при кодировании информации с помощью некоторого языка.
Примеры:
АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ 32
ABCDEFGHIJKLMNOPQRSTUVWXYZ 26
× O 2
0123456789 10
Мощность алфавита – количество символов.


Алфавитный подход
Все символы несут одинаковую информацию:
!
мощность алфавита
информационная емкость символа

Вероятность события (р) – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов.

p = 0событие никогда не происходит
(нет неопределенности)
p = 0,5 событие происходит в половине
случаев (есть неопределенность)
p = 1событие происходит всегда
(нет неопределенности)

Полная система событий: одно из N событий обязательно произойдет (и только одно!).
Содержательный подход и вероятность

p= 1/N

pi – вероятность выбора i-ого варианта (i=1,…,N)


pз = 1/2 pк =1/2
pз = 0,5 pк = 0,5 pз +pк = 1/2 + 1/2 =1


Вычисление вероятности
Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны?
Формула:
число «нужных» событий
общее число событий
Решение:
караси
пескари
окуни
Как иначе посчитать p3?
?
Содержательный подход и вероятность
Вероятность показывает какую часть
от общего числа событий составляет данное
событие (например, ловля окуня).
Содержательный подход и вероятность

На первый взгляд кажется, что формулы для вычисления информации различны. Первая — через количество событий, вторая — через вероятность:
Задача: Ученик за год получил 100 оценок. Одинаковое количество пятерок, четверок, троек, двоек — по 25 штук.

На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинаковая.

Вероятность каждой оценки была бы равна 25/100 = 1/4. Значит, и количество информации будет одинаковым. Посчитаем:
Но это та же самая задача о четырех равновероятных оценках, количество равновероятностных вариантов N=4
(оценки: 2, 3, 4, 5)

Вероятностный подход
Как посчитать информацию, если варианты не равновероятны?
– вероятность выбора i-ого варианта (n=1,…,N)
Идея: если случается менее вероятное событие, мы получаем больше информации.
Если произошло событие n, мы получаем информацию
Клод Шеннон (1916 —2001)
американский математик и электротехник, один из создателей математической теории информации и криптографии.

Вероятностный подход
Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны?
Формула:
Решение:
карась
пескарь
окунь
бита
бита
бит

Вероятностный подход
Для оценки средней информативности событий с учетом разной вероятности их благоприятных исходов формула К. Шеннона:
количество возможных событий (мощность алфавита)
средняя информативность в сообщении о том, что произошло одно из N событий.
N
i
pn
вероятность (частота) наступления событий
Если: p1=p2=…=pn=p (события равновероятны), тогда:

Формула Хартли

Вероятностный подход
Задача 2. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал какую-нибудь рыбу?
Формула:
Решение:
Карась:
Пескарь:
Окунь:
Количество информации: