Чрезвычайно важным и принципиальным является то обстоятельство, что для построения меры Р.Хартли используется лишь понятие многообразия, которое накладывает на элементы исходного множества лишь одно условие (ограничение): должна существовать возможность отличать эти элементы один от другого. В теории К.Шеннона существенным образом используется статистика и очевидно, что мера К.Шеннона асимптотически переходит в меру Р.Хартли при условии, что вероятности всех событий (состояний) равны.

Приведенные меры оценки количества информации не несут в себе представления и способов идентификации идеоморфности[22]знаковой формы отображения событий, соответствующих определенным квантам (минимальным порциям) информации. С этой точки зрения суть процедур кодирования заключается в группировании алфавитных знаков в кодовое слово так, чтобы эти слова соответствовали идиоморфизмам данной системы. При передаче по телеграфу, например, идиоморфизмами являются буквы, цифры, знаки препинания и знак пробела, а в естественных языках идеоморфизмами являются понятия, обозначаемые словами. Это качественное преобразование можно выделить в самостоятельный феноменологический уровень представления информации.

Формализация этого явления при передаче, хранении и обработке информации обычно связывается с операцией отождествления символов или групп символов одного кода с символами или группами символов другого кода. Если задано множество элементов сообщений (идиоморфизмов) B={b>i}, где i =1,…,N (N – мощность множества B), и присутствует некоторый алфавит A с символами a>k

A, где k =1,…,m и m – размерность алфавита, то К – множество конечных последовательностей символов a>k, называемых словами в данном алфавите А, называется кодом К, если множество К поставлено во взаимно однозначное соответствие с множеством В. Слова, входящие в множество К, называются кодовыми словами (кодовыми комбинациями), а число символов в кодовых словах называется длинной кодовых слов; m – размерность алфавита А, называется основанием кода К.

По форме, кодирование – это структуризация последовательности алфавитных знаков с целью передачи информации в пространстве или во времени или для ее преобразования. Наряду с алфавитом процедуры кодирования и соответствующие им при приеме (чтении) информации процедуры декодирования должны учитывать направленность кода. Очевидно, что в самом коде сведения о его направленности отсутствуют, и необходимы дополнительные системные механизмы (соглашения), обеспечивающие восприятие направленности кода.

В технических системах направленность кода регламентируются некоторыми стандартами и рекомендациями, например, государственных и международных организаций. На их основе обеспечивается возможность согласованного функционирования всей инфраструктуры связи Земного шара. Академик Латвийской академии наук Э. А.Якубайтис, описывая, например, протоколы вычислительных сетей, подчеркивает: «Передача физических блоков информации осуществляется так, что биты принимаются в конце физического соединения в том же порядке, в каком они были переданы в начале соединения».

В компьютерах размер ячейки основной памяти обычно принимается равным 8 двоичным разрядам – байту. Для хранения больших чисел используются 2, 4 или 8 байтов, размещаемых в ячейках с последовательными адресами. В этом случае за адрес числа часто принимается адрес его младшего байта. Такой прием называют адресацией по младшему байту (little endian addressing). Он характерен, например, для микропроцессоров фирмы Intel, США, а также был характерен для ЭВМ фирмы DEC (Digital Equipment Corporation), США. Возможен и противоположный подход – по меньшему из адресов располагается старший байт. Этот способ известен как адресация по старшему байту (