Измерение информации

Измерение информации.
Содержательный подход.
Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это
сообщение. При содержательном подходе возможна качественная оценка информации: полезная,
безразличная, важная, вредная…
Бит – количество информации, уменьшающее неопределенность человека в 2 раза.
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных
событий, тогда количество информации х определяется из формулы:
2х = N
х = log 2 N, где N – количество равновероятных событий; х – количество информации.
Задача1. При бросании монеты сообщение о результате жребия(орел) несет 1 бит информации, поскольку
количество возможных вариантов результата равно 2(орел или решка). Оба эти варианта равновероятны.
Ответ может быть получен из уравнения: 2х=2; 2х=21; х=1.
Задача2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение
о первом выпавшем номере(например, выпал шар номер 15)?
Решение: Вытаскивание любого шара равновероятно, значит количество информации находится по формуле:
2х=32; 2х=25; х=5.
Ответ: 5 бит.
Задание: 1). Определите, какое из сообщений содержит для вас информацию:
Москва – столица России;
Вчера весь день шел дождь;
Завтра ожидается солнечная погода;
Дивергенция однородного векторного поля равна нулю;
Dog – собака( по – английски);
2). «Вы выходите на следующей остановке?» - спросили человека в автобусе. «Нет», - ответил он.
Сколько информации содержит ответ?
3). Вы подошли к светофору, когда горе желтый свет. После этого загорелся зеленый. Какое
количество информации вы при этом получили?
4). Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил,
что группа будет плавать на дорожке №3. Сколько информации получили школьники из этого
сообщения?
5). При угадывании числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?
Алфавитный подход.
Алфавитный подход является объективным подходом к измерению информации. Таким образом определяют
количество информации в тексте.
Множество символов, используемых при записи текста, называют алфавитом.
Полное количество символов в алфавите называют мощностью(размером) алфавита.
N = 2x , где N – мощность алфавита, х- информационный вес одного символа.
Компьютерный алфавит содержит 256 символов, т.е. N =256. N = 2x, 256=2x, 28=2x, x=8 бит = 1 байт.
I=k*x, где I – информационный объем текста(количество информации в тексте), k- количество символов в
тексте.
Задача1. Книга, набранная при помощи компьютера, содержит 150 страниц, на каждой странице по 40 строк,
в каждой строке по 60 символов. Какой объем информации в книге?
Решение: х=1 байт, k1=150, k2=40, k3=60. I-?
I=k*x, k=k1*k2*k3, I=k1*k2*k3*x.
I=150*40*60*1=360000 байт =351.56 кбайт =0.34 Мбайт.
Ответ:0.34 Мбайт.
Задание: 1. Племя Мульти имеет 32-хсимвольный алфавит. Племя Пульти использует 64-х символьный
алфавит. Вожди племен обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо
племени Пульти – 70 символов. Сравните объемы информации, содержащейся в письмах.
2. Информационное сообщение объемом 1.5 кбайт содержит 3072 символа. Сколько символов содержит
алфавит, при помощи которого было записано это сообщение.
3. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с
помощью которого записано сообщение?
Домашняя работа: 1. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый
свет. Сколько информации вы при этом получили?
2. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел
содержит этот диапазон?
3. Сообщение записано буквами 64-х символьного алфавита, содержит 20 символов. Какой объем
информации оно несет?