Содержательный подход к измерению информации
Люди обмениваются информацией в форме сообщений. Сообщение — это форма представления информации в виде речи, текстов, жестов, взглядов, изображений, цифровых данных, графиков, таблиц и т.п. Одно и то же информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертёж, радиопередача и т.п.) может содержать разное количество информации для разных людей — в зависимости от их предшествующих знаний, от уровня понимания этого сообщения и интереса к нему. Сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Информативность одного и того же сообщения может быть разной для разных людей.Сообщение несет информацию для человека, если содержащиеся в сообщении сведения являются новыми и понятными для него. Если мы кидаем шестигранный кубик, то мы не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз. Но мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Например: мы бросаем монету. Предположим, что у монеты обе стороны «орел». В этом случае не существует неопределенности знаний перед броском, так как мы заранее знаем, что выпадет в любом случае «орел». Мы не получим новой информации, так как ответ знали заранее и количество информации в этом случае будет равно нулю, так как сообщение о результатах броска неинформативно. Следовательно, для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Что такое вероятность? Данный подход называется еще вероятностным. Равновероятные (равновозможные) и разновероятностные события Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Неопределенность знаний о некотором событии – это количество возможных результатов события: если из двух возможных событий происходит одно, то неопределенность знаний уменьшается в два раза (было два варианта, остался один). И чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта. Такое количество информации, которое находится в сообщении о том, что произошло в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту. Итак, с помощью битов информация кодируется. С точки зрения кодирования с помощью 1 бита можно закодировать два сообщения, события или два варианта некоторой информации. С точки зрения вероятности 1 бит – это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных. 1 бит – это количество информации, уменьшающее неопределенность знаний в два раза – еще одно определение 1 бита.
Пусть потенциально может осуществиться некоторое множество событий (N), каждое из которых может произойти с вероятностью (рi), т.е. существует неопределённость. Предположим, что одно из событий произошло, неопределенность уменьшилась, вернее, наступила полная определённость. Таким образом, количество информации (I), содержащейся в выбранном сообщении является мерой уменьшения неопределенности.
Для определения количества информации используется формула Хартли и Шеннона. Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли: I = log2N Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации. Приведем другие примеры равновероятных сообщений:
Американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли. Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями. В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра). Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.). В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд. Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28). Более крупными производными единицами информации являются: · 1 Килобайт (Кбайт) = 1024 байт = 210 байт,
· 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт. · 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,
За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений, но тогда это будет уже не двоичная (бит), а десятичная (дит) единица информации.
Популярное: Организация как механизм и форма жизни коллектива: Организация не сможет достичь поставленных целей без соответствующей внутренней... Почему двоичная система счисления так распространена?: Каждая цифра должна быть как-то представлена на физическом носителе... Почему люди поддаются рекламе?: Только не надо искать ответы в качестве или количестве рекламы... ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (1114)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |