Тема 1.2 Подходы к измерению информации

Тема 1.2 Подходы к измерению информацииИнформация — штука коварная и многоликая, словно тот самый кот Шрёдингера, который одновременно и жив, и мёртв, пока вы не заглянете в коробку. Вот и учёные разных мастей уже давно пытаются понять: что же это такое — информация?

И почему она такая важная, что вокруг неё целая куча наук собралась, как на распродажу в магазине электроники.

Возьмём для начала теорию информации. Её основатель, Клод Шеннон, был человеком простым: он сказал — информация это то, что снимает неопределённость.

Представьте себе: вы подбрасываете монету — орёл или решка? До броска у вас два варианта — полный хаос! Но как только монета приземляется (надеюсь, не на голову), неопределённость уменьшается ровно вдвое — и вот вам уже один бит информации. Шеннон был настолько увлечён этим битом, что даже придумал ему имя — коротко и ясно.

Можно сказать, что он подарил миру первый «бит» юмора в математике.

А теперь представьте себе ситуацию: вы рассказываете другу о том же броске монеты. Можно сказать просто «орёл» — и всё понятно.

А можно развернуть историю в эпопею: «В результате подбрасывания монета упала так, что на её видимой части изображён орёл». Ну а если хотите посмеяться — скажите это на языке программиста: “if (coin == ‘heads’) {print(‘Victory!’);}”.

Все варианты несут одинаковую информацию с точки зрения Шеннона, но разные по длине и весу для вашего друга-слухача.

Теперь переключимся на другую сторону медали — кибернетику и информатику. Тут появляется Андрей Николаевич Колмогоров с его алфавитным подходом к информации. Он смотрит не на смысл сообщения, а на минимальное количество двоичных знаков (ну да, тех самых 0 и 1), необходимых для передачи этого сообщения без потерь смысла.

Это как пытаться упаковать чемодан так компактно, чтобы взять с собой побольше носков и поменьше лишних пар обуви.

Колмогоров считал информацию последовательностью символов из некоторого алфавита: буквами там или цифрами; цветными точками на экране или загадочными кодами из мира машинных языков. Минимальный алфавит для хранения информации – двоичный – всего два символа: 0 и 1.

Кто-то шутит: «Это как язык гиков – проще некуда!» В этом мире один символ двоичного алфавита несёт ровно один бит информации – маленький кирпичик огромного информационного здания.

Если говорить проще: представьте себе вашу любимую сказку про трёх поросят. С точки зрения Колмогорова можно попытаться записать эту сказку максимально коротко в виде набора нулей и единиц без потери смысла – задача не из лёгких! Это напоминает шутку про программиста: «Почему программисты путают Хэллоуин с Рождеством? Потому что Oct 31 = Dec 25».

Если перевести это с их языка – октябрь 31 равен декабрю 25 в восьмеричной системе счисления! Вот где настоящая игра с информацией.

Ещё одна забавная история связана с семиотикой – наукой о знаках и знаковых системах.

Знаки бывают разные: от дорожных указателей до смайликов в мессенджерах. Помните старый анекдот?

«Почему компьютерный вирус похож на комара? Потому что оба раздражают пользователя ночью!» Вот тут семиотика помогает разобраться, какие знаки вызывают у нас улыбку или раздражение.

This entry was posted in Разное. Bookmark the permalink.