какой объем информации несет в себе сообщение уменьшающее неопределенность знаний в два раза

Урок по информатике и ИКТ «Количество информации как мера уменьшения неопределенности знаний. Определение количества информации»

Цели урока: формировать умения и навыки учащихся применять знания по образцу и в изменённой ситуации по изучаемой теме: находить количество информации при решении задач, в условии которых события являются равновероятными и не равновероятными.

Требования к знаниям и умениям:

Программно-дидактическое обеспечение: персональный компьютер, проектор, мультимедийная доска SMART-Board, карточки для опроса учащихся.

Ход урока

I. Постановка целей урока

II. Проверка домашнего задания

/ Для этого учитель проецируем общее количество оценок, которое мог бы получить учащийся на данный момент времени, а также количество оценок каждого ученика.

Ученики производят вычисления самостоятельно и называют результаты. Далее выполнение домашнего задания ученики показывают в порядке убывания полученных вероятностей. Решение задач демонстрируется на доске в слайдовой презентации./

2. Выборочно проводится опрос по карточкам, приготовленным заранее.

1) Какие существуют подходы к измерению информации?
2) Какое сообщение называют информативным?
3) Может ли количество информации в сообщении быть равным нулю?

Задание: вставьте пропущенные слова.

– Сообщение называется …, если в нем содержатся новые и понятные сведения.

– События, не имеющие преимущество друг перед другом, называются.

– Количество информации, которое находится в сообщении о том, что произошло одно событие из. равновероятных, принято за единицу измерения информации и равно.

Все остальные учащиеся выполняют кроссворд по основным понятиям приложение 1.

III. Решение задач
1. Решение задач, в условии которых события являются равновероятными

В течении 10 минут ученики выполняют решения задач / задаётся произвольный темп решения, т.о., часть детей решит задач больше, часть меньше в меру своих возможностей

— Чему равно I? Как найти N?

“Вы выходите на следующей остановке?” – спросили человека в автобусе. “Нет”, — ответил он. Сколько информации содержит ответ?

Решение: человек мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. Значит I = 1 бит (2 = ).

“Петя! Ты пойдешь сегодня в кино?” – спросил я друга. “Да”, – ответил Петя. Сколько информации я получил?

Решение: Петя мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. значит I = 1 бит (2 = 2 1 ).

Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

Решение: так как неопределенность знаний уменьшается в 8 раз, следовательно, она было равна 8, т.е. существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них, несет 3 бита информации (8 = 2 3 ).

Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?

Решение: так как неопределенность знаний уменьшается в 4 раз, следовательно, она было равна 4, т.е. существовало 4 равновероятных событий. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 2 2 ).

Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

Решение: из двух сигналов (желтого и зеленого) необходимо выбрать один — зеленый. Поэтому N = 2, а I = 1 бит.

Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

Пояснение: номер дорожки (3) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.

На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?

Решение: из 8 путей нужно выбрать один. Поэтому N = 8, а I = 3, т.к. 8 = Пояснение: номер пути (4) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.

В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, I = 4 (16 = 2 4 ).

Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.

Была получена телеграмма: “Встречайте, вагон 7”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?

Решение: так как из 16 вагонов нужно выбрать один, то N = 16, следовательно, 1 = 4(16 = 2 4 ).

При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?

Решение: N = 2 9 = 512.

Ответ: диапазон чисел имеет значение от 1 до 512.

При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

Решение: N = 2 8 = 256.

Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

Решение: N = 2 4 = 16 этажей.

Пояснение: события равновероятны, т.к. номера этажей не повторяются.

Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

Решение: N = 2 3 = 8 подъездов.

Пояснение: события равновероятны, т.к. номера подъездов не повторяются.

В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

Загадано слово из 10 букв. Вы просите открыть пятую букву. Вам ее открыли. Сколько информации вы получили?

Решение: N = 10, следовательно, I = log₂10.

Смотрим по таблице / приложение 2 / и видим, что I = 3,32193 бит.

В коробке лежат 6 разноцветных фломастеров. Какое количество информации содержит сообщение, что из коробки достали синий фломастер?

Решение: N = 6, следовательно, I = log₂6. Смотрим по таблице и видим, что I = 2,58496 бит.

Какое количество информации несет сообщение: “Встреча назначена на май”?

Решение: так как месяцев в году 12, то из этого количества сообщений нужно выбрать одно. Значит N = 16, а I = log₂12. Смотрим по таблице и видим, что I = 3,58496 бит.

Какое количество информации несет сообщение о том, что встреча назначена на 20 число?

Решение: так как дней в месяце 30 или 31, то из этого количества сообщений нужно выбрать одно. Значит N = 30 или 31, а I = log₂30 (или 31). Смотрим по таблице и видим, что I = 4,9 бит.

2. Решение задач, в условии которых события не равновероятны

Запишите формулу на доске для нахождения количества информации в ситуации с не равновероятными событиями. Что означает каждая буква и как выразить одну величину через другую.

Почему события в задаче не равновероятные? Сравните вероятности событий между собой.

В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

1) I₆ = log₂(l/p₆); 4 = log2(l/p₆); 1/р_б = 16; p₆ = 1/16 – вероятность доставания белого карандаша;

2) р_б = ; = ; = = 4 белых карандаша.

Ответ: 4 белых карандаша.

В классе 30 человек. За контрольную работу по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Андреев получил пятерку?

Решение: 1) р₄ = = — вероятность получения оценки “5”;

2)I₄ = log₂( ) = log₂( )=1бит

Известно, что в ящике лежат 20 шаров. Из них 10 – синих, 5 – зеленых, 4 — желтых и 1 — красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?

Дано: К = 10; К = 5; К_ж = 4; К = 1; N = 20.

Ответ: I_с = 1 бит, I_з = 2 бит, I_ж = 2,236 бит, I_к = 4,47213 бит.

За четверть ученик получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок ученик получил за четверть?

1) I₄ = log₂(l/p₄), 2 = log₂(l/p₄), = 4, р₄ = – вероятность получения “5”;

В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько пар белых перчаток было в ящике?

3) К₆ = N – К = 32 – 2 = 30 пар белых перчаток.

Ответ: 30 пар белых перчаток.

Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?

Дано: Кб = Кс =8, I₆ = 2 бита.

3) К_к = N – К₆ – К_с = 32 – 8 – 8 — 16 банок коричневой краски.

Ответ: 16 банок коричневой краски.

В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Дано: К = 16, I = 2 бита.

2) р_б = = , = , К₆ + 18 = 4 • , 18 = 3 • К₆,

К_б = 6 – белых шаров;

3) N = К_ч+К; = 18 + 6 = 24 шара было в корзине.

Ответ: 24 шара лежало в корзине.

На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1 несет 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1. Сколько информации несет сообщение о появлении на остановке троллейбуса с номером N2?

Ответ: 5 бит несет сообщение о появлении на остановке троллейбуса №2.

IV. Итоги урока

Оценка работы класса и отдельных учащихся, отличившихся на уроке.

V. Домашнее задание

Дополнительный материал. 1. Частотный словарь русского языка — словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.

Частота о 0.090 в 0.035 я 0.018 ж 0.007 е, е 0.072 к 0.028 Ы, 3 0.016 ю, ш 0.006 а, и 0.062 м 0.026 ь, ъ, б 0.014 ц, щ, э 0.003 т, н 0.053 д 0.025 ч 0.013 ф 0.002 с 0.045 п 0.023 й 0.012 р 0.040 У 0.021 X 0.009

2. Используя результат решения предыдущей задачи, определите количество информации в слове “компьютер”.

Источник

ГДЗ Информатика 10 класс Семакин параграф 4

1. Что такое неопределенность знания об исходе некоторого события?

Неопределенность знания — это количество возможных вариантов ответа на интересовавший вас вопрос. Еще можно сказать: возможных исходов события.

2. Как определяется единица измерения количества информации в рамках содержательного подхода?

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку. Вспомним, что с «человеческой» точки зрения информация — это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания. В теории информации для бита дается следующее определение: Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

3. Придумайте несколько ситуаций, при которых сообщение несет 1 бит информации.

1. Монета после подбрасывания легла гербом вверх 2. Лампа не горит 3. Телевизор включен 4. Поезд пришел вовремя 5. Можно идти ужинать!

4. В каких случаях и по какой формуле можно вычислить количество информации, содержащейся в сообщении, используя содержательный подход?

5. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?

6. При угадывании методом половинного деления целого числа из диапазона от 1 до N был получен 1 байт информации. Чему равно N?

1 байт = 8 бит N = 2^8 = 256

7. Проводятся две лотереи: «4 из 32» и «5 из 64». Сообщение о результатах какой из лотерей несет больше информации?

8. Используя формулу Хартли и электронные таблицы, определите количество информации в сообщениях о равновероятных событиях:

а) на шестигранном игральном кубике выпала цифра 3;

б) в следующем году ремонт в школе начнется в феврале;

в) я приобрел абонемент в бассейн на среду;

г) из 30 учеников класса дежурить в школьной столовой назначили Дениса Скворцова.

Формула Хартли: i = log2N A) Шанс выпадения одной из 6 граней на кубике равен 1/6 i = Iog2 6 = 3 бита Б) В году 12 месяцев, выбор одного уменьшает неопределенность в 12 раз i = Iog2 12 — 4 бита B) В неделе 7 дней, выбор одного дня уменьшает неопределенность в 7 раз i = Iog 27 = 3 бита Г) Выбор одного ученика из 30 снижает неопределенность в 30 раз i = Iog2 30 = 5 бит

9. Используя закон аддитивности количества информации, решите задачу о билете в кинотеатр со следующим дополнительным условием: в кинотеатре 4 зала. В билете указан номер зала, номер ряда и номер места. Какое количество информации заключено в билете?

Источник

Какой объем информации несет в себе сообщение уменьшающее неопределенность знаний в два раза

Урок 6. Содержательный (вероятностный) подход к измерению информации

Измерение информации. Содержательный подход

Неопределенность знания и количество информации

Содержательный подход к измерению информации отталкивается от определения информации как содержания сообщения, получаемого человеком. Сущность содержательного подхода заключается в следующем: сообщение, информирующее об исходе какого-то события, снимает неопределенность знания человека об этом событии.

Чем больше первоначальная неопределенность знания, тем больше информации несет сообщение, снимающее эту неопределенность.

Приведем примеры, иллюстрирующие данное утверждение.

Ситуация 1. В ваш класс назначен новый учитель информатики; на вопрос «Это мужчина или женщина?» вам ответили: «Мужчина».

Ситуация 2. На чемпионате страны по футболу играли команды «Динамо» и «Зенит». Из спортивных новостей по радио вы узнаете, что игра закончилась победой «Зенита».

Ситуация 3. На выборах мэра города было представлено четыре кандидата. После подведения итогов голосования вы узнали, что избран Н. Н. Никитин.

Вопрос: в какой из трех ситуаций полученное сообщение несет больше информации?

Неопределенность знания — это количество возможных вариантов ответа на интересовавший вас вопрос. Еще можно сказать: возможных исходов события. Здесь событие — например, выборы мэра; исход — выбор, например, Н. Н. Никитина.

В первой ситуации 2 варианта ответа: мужчина, женщина; во второй ситуации 3 варианта: выиграл «Зенит», ничья, выиграло «Динамо»; в третьей ситуации — 4 варианта: 4 кандидата на пост мэра.

Согласно данному выше определению, наибольшее количество информации несет сообщение в третьей ситуации, поскольку неопределенность знания об исходе события в этом случае была наибольшей.

В 40-х годах XX века проблема измерения информации была решена американским ученым Клодом Шенноном — основателем теории информации. Согласно Шеннону, информация — это снятая неопределенность знания человека об исходе какого-то события.

В теории информации единица измерения информации определяется следующим образом.

Сообщение, уменьшающее неопределенность знания об исходе некоторого события в два раза, несет 1 бит информации.

Согласно этому определению, сообщение в первой из описанных ситуаций несет 1 бит информации, поскольку из двух возможных вариантов ответа был выбран один.

Следовательно, количество информации, полученное во второй и в третьей ситуациях, больше, чем один бит. Но как измерить это количество?

Рассмотрим еще один пример.

Ученик написал контрольную по информатике и спрашивает учителя о полученной оценке. Оценка может оказаться любой: от 2 до 5. На что учитель отвечает: «Угадай оценку за два вопроса, ответом на которые может быть только «да» или «нет»». Подумав, ученик задал первый вопрос: «Оценка выше тройки?». «Да», — ответил учитель. Второй вопрос: «Это пятерка?». «Нет», — ответил учитель. Ученик понял, что он получил четверку. Какая бы ни была оценка, таким способом она будет угадана!

Первоначально неопределенность знания (количество возможных оценок) была равна четырем. С ответом на каждый вопрос неопределенность знания уменьшалась в 2 раза и, следовательно, согласно данному выше определению, передавался 1 бит информации.

Узнав оценку (одну из четырех возможных), ученик получил 2 бита информации.

Рассмотрим еще один частный пример, а затем выведем общее правило.

Вы едете на электропоезде, в котором 8 вагонов, а на вокзале вас встречает товарищ. Товарищ позвонил вам по мобильному телефону и спросил, в каком вагоне вы едете. Вы предлагаете угадать номер вагона, задав наименьшее количество вопросов, ответами на которые могут быть только слова «да» или «нет».

Немного подумав, товарищ стал спрашивать:

Схематически поиск номера вагона выглядит так:

Каждый ответ уменьшал неопределенность знания в два раза. Всего было задано три вопроса. Значит, в сумме набрано 3 бита информации. То есть сообщение о том, что вы едете в пятом вагоне, несет 3 бита информации.

Способ решения проблемы, примененный в примерах с оценками и вагонами, называется методом половинного деления: ответ на каждый вопрос уменьшает неопределенность знания, имеющуюся перед ответом на этот вопрос, наполовину. Каждый такой ответ несет 1 бит информации.

Заметим, что решение подобных проблем методом половинного деления наиболее рационально. Таким способом всегда можно угадать, например, любой из восьми вариантов за 3 вопроса. Если бы поиск производился последовательным перебором: «Ты едешь в первом вагоне?» «Нет», «Во втором вагоне?» «Нет» и т. д., то про пятый вагон вы смогли бы узнать после пяти вопросов, а про восьмой — после восьми.

«Главная формула» информатики

Сформулируем одно очень важное условие, относящееся к рассмотренным примерам. Во всех ситуациях предполагается, что все возможные исходы события равновероятны. Равновероятно, что учитель может быть мужчиной или женщиной; равновероятен любой исход футбольного матча, равновероятен выбор одного из четырех кандидатов в мэры города. То же относится и к примерам с оценками и вагонами.

Тогда полученные нами результаты описываются следующими формулировками:

• сообщение об одном из двух равновероятных исходов некоторого события несет 1 бит информации;
• сообщение об одном из четырех равновероятных исходов некоторого события несет 2 бита информации;
• сообщение об одном из восьми равновероятных исходов некоторого события несет 3 бита информации.

Обозначим буквой N количество возможных исходов события, или, как мы это еще называли, — неопределенность знания. Буквой i будем обозначать количество информации в сообщении об одном из N результатов.

Нетрудно заметить, что связь между этими величинами выражается следующей формулой:

2 i = N.

Действительно: 2 1 = 2 ; 2 2 = 4 ; 2 3 = 8.

С полученной формулой вы уже знакомы из курса информатики для 7 класса и еще не однажды с ней встретитесь. Значение этой формулы столь велико, что мы назвали ее главной формулой информатики. Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике такое уравнение называется показательным уравнением.

Пример. Вернемся к рассмотренному выше примеру с вагонами. Пусть в поезде не 8, а 16 вагонов. Чтобы ответить на вопрос, какое количество информации содержится в сообщении о номере искомого вагона, нужно решить уравнение:

2 i = 16.

Количество информации i, содержащееся в сообщении об одном из N равновероятных исходов некоторого события, определяется из решения показательного уравнения:

2 i = N.

Пример. В кинозале 16 рядов, в каждом ряду 32 места. Какое количество информации несет сообщение о том, что вам купили билет на 12-й ряд, 10-е место?

Но эту же задачу можно решать иначе. Сообщение о номере ряда несет 4 бита информации, так как 2 4 = 16. Сообщение о номере места несет 5 битов информации, так как 2 5 = 32. В целом сообщение про ряд и место несет: 4 + 5 = 9 битов информации.

Данный пример иллюстрирует выполнение закона аддитивности количества информации (правило сложения): количество информации в сообщении одновременно о нескольких результатах независимых друг от друга событий равно сумме количеств информации о каждом событии отдельно.

Сделаем одно важное замечание. С формулой 2 i = N мы уже встречались, обсуждая алфавитный подход к измерению информации (см. § 3. Измерение информации. Алфавитный подход). В этом случае N рассматривалось как мощность алфавита, а i — как информационный вес каждого символа алфавита. Если допустить, что все символы алфавита появляются в тексте с одинаковой частотой, т. е. равновероятно, то информационный вес символа i тождественен количеству информации в сообщении о появлении любого символа в тексте. При этом N — неопределенность знания о том, какой именно символ алфавита должен стоять в данной позиции текста. Данный факт демонстрирует связь между алфавитным и содержательным подходами к измерению информации.

Формула Хартли

Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему равно количество информации в сообщении о результате матча «Динамо»-«Зенит»? В этой ситуации N = 3. Можно догадаться, что решение уравнения

2 i = 3.

будет дробным числом, лежащим между 1 и 2, поскольку 2 1 = 2 2 = 4 > 3. А как точнее узнать это число?

В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом:

Читается это так: «логарифм от N по основанию 2». Смысл очень простой: логарифм по основанию 2 от А — это степень, в которую нужно возвести 2, чтобы получить N. Например, вычисление уже известных вам значений можно представить так:

Значения логарифмов находятся с помощью специальных логарифмических таблиц. Также можно использовать инженерный калькулятор или табличный процессор. Определим количество информации, полученной из сообщения об одном исходе события из трех равновероятных, с помощью электронной таблицы. На рисунке 1.4 представлены два режима электронной таблицы: режим отображения формул и режим отображения значений.

В табличном процессоре Microsoft Excel функция логарифма имеет следующий вид: LOG(apryмент; основание). Аргумент — значение N находится в ячейке А2, а основание логарифма равно 2. В результате получаем с точностью до девяти знаков после запятой: i = log₂3 = 1,584962501 (бита).

Формула для измерения количества информации: i = log₂N была предложена американским ученым Ральфом Хартли — одним из основоположников теории информации.

Формула Хартли: i = log₂ N
Здесь i — количество информации, содержащееся в сообщении об одном из N равновероятных исходов события.

Данный пример показал, что количество информации, определяемое с использованием содержательного подхода, может быть дробной величиной, в то время как информационный объем, вычисляемый путем применения алфавитного подхода, может иметь только целочисленное значение.

Вопросы и задания

1. Что такое неопределенность знания об исходе некоторого события?
2. Как определяется единица измерения количества информации в рамках содержательного подхода?
3. Придумайте несколько ситуаций, при которых сообщение несет 1 бит информации.
4. В каких случаях и по какой формуле можно вычислить количество информации, содержащейся в сообщении, используя содержательный подход?
5. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?
6. При угадывании методом половинного деления целого числа из диапазона от 1 до N был получен 1 байт информации. Чему равно N?
7. Проводятся две лотереи: «4 из 32» и «5 из 64». Сообщение о результатах какой из лотерей несет больше информации?
8. Используя формулу Хартли и электронные таблицы, определите количество информации в сообщениях о равновероятных событиях:
а) на шестигранном игральном кубике выпала цифра 3;
б) в следующем году ремонт в школе начнется в феврале;
в) я приобрел абонемент в бассейн на среду;
г) из 30 учеников класса дежурить в школьной столовой назначили Дениса Скворцова.
9. Используя закон аддитивности количества информации, решите задачу о билете в кинотеатр со следующим дополнительным условием: в кинотеатре 4 зала. В билете указан номер зала, номер ряда и номер места. Какое количество информации заключено в билете?

Источник