Вернёмся немного назад во времени. За 20 лет до того, как Тьюринг придумал концепцию устройства, перерабатывающего информацию, и за 30 лет до того, как фон Нейман обосновал принципы работы этого устройства, в небольшом городке на берегу живописного озера Мичиган родился Клод Элвуд Шеннон (Claude Elwood Shannon).

Застенчивый и любознательный паренёк с детства любил возиться с техникой. Собирал авиамодели и модели радиоуправляемых лодок, чинил радиостанции для жителей провинциального Гейлорда.

Его совсем не занимали вопросы политики или религии. Он был одиночкой, не слишком разговорчивым даже с коллегами по научной работе. По словам жены, Шеннон «спал, когда хотел спать, и часто проводил часы за кухонным столом, обдумывая идеи». Вместе с тем, он постоянно что-то придумывал и изобретал^>5.

Одним словом, Шеннон был мыслителем-универсалом, виртуозно владевшим математической теорией и применявшим её для решения разнообразных практических вопросов. Причём внешняя оценка его не волновала. Ему просто нравилось думать.

С 1940 по 1941 год Клод Шеннон работал в принстонском Институте перспективных исследований (Institute for Advanced Study, сокр. IAS), где встречался и беседовал с Джоном фон Нейманом. Именно он, к тому времени уже маститый профессор, посоветовал молодому аспиранту рассмотреть понятие энтропии применительно к информации.

В те годы кафедру Массачусетского технологического института (Massachusetts Institute of Technology, сокр. MIT) возглавлял Норберт Винер, уже снискавший в научном мире авторитет благодаря работам по теории вероятностей, статистике, теории чисел и др. Винер сформулировал понятие о новой науке, рассматривающий информационный обмен в сложных системах, – кибернетике. В 1941 году Шеннон защитил докторскую диссертацию в MIT и позже, конечно, внимательно следил за работами Винера, где рассматривались вопросы движения информации^>32.

В 1943 в США прилетел Алан Тьюринг, чтобы обменяться с союзниками наработками в деле расшифровки немецких военных кодов. Он встретился с Шенноном и, в частности, показал свою работу, посвященную универсальной машине.

Спустя три года впервые в литературе появляется термин «bit» (сокращение от англ. binary digit) как единица измерения информации – в научный обиход его ввёл математик Джон Тьюки (John Tukey).

Вот краткая хронология событий, предшествовавших появлению в 1948 году знаменитой статьи Клода Шеннона «Математическая теория связи» (A Mathematical Theory of Communication)^{> 27,29}. Усилия многих учёных (в основном – математиков), иногда действовавших совместно, иногда конкурировавших друг с другом, привели к рождению того, что мы называем теорией информации. Без всякого преувеличения этот факт можно сравнить с появлением теории эволюции Дарвина и общей теорией относительности Эйнштейна.

До этой работы об информационном обмене рассуждали исключительно с утилитарных позиций. Считалось, например, что передача информации полностью зависит от свойств канала коммуникации. Если канал слишком «шумный», то передать сообщение невозможно. Поэтому надо работать над «информационной проводимостью» линий передачи, учитывая характеристики металлических сплавов и т. д. О свойствах собственно информации почти никто не задумывался.

Шеннон взялся за решение проблемы, сначала рассмотрев общие вопросы. Он ввёл понятие «информационной энтропии», предложив формулу:

H = – (p_>1log_>2 p_>1 + p_>2log_>2 p_>2 + … + p_>nlog_>2 p_>n)

(где H – информационная энтропия, p – вероятность того, что именно данный знак или последовательность знаков будет выбрана, n – количество всех возможных выборов).