Книга Э. Шредингера всего на три года опередила новое революционное событие в науке, связанное с понятием энтропии. В 1948 году американский математик К. Шеннон, исследуя передачи сообщений в больших системах связи, пришел к формуле (3) как меры неопределенности состояний таких систем. Это было предопределено аналогией случайного поведения сообщений и микрочастиц. Знакомство Шеннона с корифеем науки XX века Дж. фон Нейманом имело следующие последствия:

«Больше всего меня беспокоило, как это назвать. Я думал назвать это "информацией", но это слово использовалось слишком часто, поэтому я решил назвать это ‘неопределенностью’. Когда я обсуждал это с Джоном фон Нейманом, у него появилась идея получше. Фон Нейман сказал мне: "Вы должны называть это энтропией по двум причинам: во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть название. Во-вторых, и это более важно, никто не знает, что такое энтропия на самом деле, поэтому в дебатах у вас всегда будет преимущество»».

На идеях К. Шеннона, Р. Хэмминга и других исследователей быстро развилась новая отрасль науки – теория информации. Она базируется на следующих постулатах:

–1) существует множество X элементов, называемых сообщениями;

–2) существует множество A, называемое алфавитом, элементы которого называются символами;

–3) существуют объекты, называемые передатчик, приемник и канал передачи сообщений;

–4) сообщения передаются от передатчика к приемнику по каналу передачи в виде конечных упорядоченных множеств символов;

–5) в силу неустранимой случайности состояний канала передачи, передаваемые сообщения множества X преобразуются им в принятые сообщения множества Y, включающего X;

–6) количество информации1 I(x;y), доставляемое принятым сообщением y при передаче сообщения x, есть

где P(x) – априорное, а P(x|y) – апостериорное распределение вероятностей сообщений x после приема сообщения y. Назовем эти постулаты Системой Символьной Передачи Сообщений (ССПС).

Интегральная характеристика всей системы передачи – это среднее количество взаимной информации I(X;Y) между множествами X и Y. Прямое вычисление по формулам теории вероятности дает

I (X ; Y) = H(X) – H(X | Y),

где H(X), H(X | Y) – априорная и апостериорная энтропия распределений вероятностей множества X, преобразуемого каналом в множество Y [2]. Эта формула определяет глубинный смысл информации, как меры снижения энтропии.

В том же 1948 году математик Н. Винер опубликовал книгу «Кибернетика, или Управление и связь в животном и машине». Эта работа открыла целое направление моделирования «живого» техническими средствами. Дж. фон Нейман формулирует концепцию самовоспроизводящихся машин. В ней он приходит к выводу, что их конструкция требует наличия памяти и канала передачи наследственной информации. Он же формулирует принципы построения вычислительных машин «фон-Неймановского» типа, которые до сих пор доминируют в компьютерном мире. Их особенностью является наличие памяти, хранящейся в ней программы и обрабатывающего ее инструкции процессора. Несколько позже Ф. Розенблатт создает персептрон – альтернативу фон-Неймановским компьютерам. Персептрон непосредственно моделировал процессы распознавания образов в животном мире. Алгоритм работы персептрона задавался не в виде текста на неком языке программирования, а в виде структуры связей между его элементами. Важным его отличием от машин фон-Неймана является наличие процедуры обучения в процессе работы. Сегодня «машины Розенблатта» превратились в нейронные сети, а распознавание образов в искусственный интеллект.