Презентация на тему: "Презентация вероятность и ее расчёт"

Вероятностный подход к измерению информации. Формула Шеннона

Вероятностный подход

Приведите примеры уменьшения неопределенности знаний после получения информации о произошедшем событии.

В чем состоит неопределенность знаний в опыте по бросанию монеты?

Как зависит количество информации от количества возможных событий?

При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?

В коробке лежат 16 разноцветных карандашей. Какое количество информации содержит сообщение о том, что из коробки достали красный карандаш?

Равновероятные события
1 бит – единица количества информации величина, уменьшающая неопределенность знаний в два раза.
N = 2I

ВЕРОЯТНОСТНЫЙ ПОДХОД
Клод Э́лвуд Ше́ннон

30.04.1916 - 24 февраля 2001
американский математик и электротехник, один из создателей математической теории информации.

Формула Шеннона
I - количество информации;
N - количество возможных событий;
рi - вероятность i-го события (р = К/N, К – величина, показывающая, сколько раз произошло интересующее нас событие).

Вероятностный подход
Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:
I = log 2 (1/p)

Задача

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков.

Какое количество информации будет содержать сообщение о цвете вынутого шарика?

Решение
рб = 10/100 = 0,1;
рк = 20/100 = 0,2;
рс = 30/100 = 0,3;
рз = 40/100 = 0,4.

I = - (0,1.log20,1 + 0,2.log20,2 + 0,3.log20,3 + 0,4.log20,4)

I ≈ 1,85 бита

K = 100 (40+30+20+10)

Задача
В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Определите количество информации в сообщении о том, что при вытаскивании «не глядя» попадется белый шар, черный шар.

Решение

Обозначим рч - вероятность попадания черного шара, рб - вероятность попадания белого шара.

рч = 40/50 = 0,8;
рб = 10/50 = 0,2;
Iб = log2(1/0,2) ≈ 2,32;
iч = log2(1/0,8) ≈ 0,32

Задача

В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Сколько информации мы получим, когда поймаем какую - нибудь рыбу?

Решение
Найдем общее количество рыб в озере: К = 12500 + 25000 + 2.6250 = 50000.

Найдем вероятность попадания на удочку каждого вида рыб:
Ро = 12500/50000 = 0,25
Рк = 25000/50000 = 0,5
Pп = 6250/50000 = 0,125
Pщ = 6250/50000 = 0,125

Найдем количество информации

I = - (0,25*log20,25 + 0,5*log20,5 + 0,125*log20,125 + 0,125*log20,125) бит ≈ 1,75 бита

Задача 2

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Решение
N = 8 + 24 = 32 – шара всего
Рч = 8/32 = ¼ - вероятность доставания черного шара
I = log2 (1/¼) = 2 бита.

Дополнительная задача

В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Определите количество информации при попадании на удочку каждого из видов рыб.

Домашнее задание

Выучить основные определения и формулы п.2.4

Задания 2.4 – 2.5 (стр. 82)