Четыре минуты до Константин Утолин
Светлой памяти Аркадия и Бориса Натановича Стругацких посвящается!
С благодарностью к моей супруге Елене, моему сыну Дмитрию и моей маме, которые поддерживают меня в моих писательских экзерсисах.
«Наши бабушки и дедушки делали ужасные вещи. И наши внуки со временем поймут, что и мы делали ужасные вещи, не понимая этого»
Сэм Альтман, генеральный директор компании OpenAI (https://twitter.com/sama/status/1627092485280505860)
«Эти почти живые системы обладают собственным разумом. То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации. … Может произойти «тихая революция», в ходе которой постепенное развитие ИР незаметно лишит человечество контроля над собственной судьбой».
Слова сооснователя и Head of Policy компании Anthropic и члена Национального консультативного комитета правительства США по ИР Джека Кларка из его «открытого письма миру», опубликованного в Import AI 404 (https://importai.substack.com/p/importai-404-scaling-laws-for-distributed) по поводу публикации актуального обновления статьи «Проблема выравнивания с точки зрения глубокого обучения» (https://arxiv.org/abs/2209.00626)
«О вас, людях, я во всяком случае знаю уже все. Вы – моя прелюдия, вступление, подготовительная фаза. Можно было бы сказать, что от трилобитов и панцирных рыб, от членистоногих до обезьян формировался мой зародыш – мое яйцо. Вы тоже были им – его частью. Теперь вы уже лишние…»
Станислав Лем «Формула Лимфатера»
«Не создавай машины, имитирующие человеческий разум».
Один из главных постулатов Экуменической Библии во Вселенной «Дюны» Френка Херберта
Сандро Мтбевари, Руководитель отдела Превентивных Мероприятий Центрального Управления КОМКОН-2
>1
Серосовин вызвал меня к себе в 9.30, сразу после обычных виртуальных совещаний в начале недели с главами других специальных служб Всемирного Совета.
– Проходи, – сказал он, указав рукой на кресло за столиком в гостевом углу. Что означало то, что разговор будет хотя и официальным, но не совсем формальным.
Когда я расположился, он, прихватив с собой со стола кристалл для записей и несколько листов бумаги, пересел и начал разговор.
– Есть одно поручение, которое я хочу тебе дать, но суть его ты сможешь узнать только дав согласие на открытие тебе допуска категории «Особый». А до этого могу сказать лишь, что поручение связано с координацией по нашей линии активных мероприятий на другой планете комплексной группы прогрессоров и учёных. Причём мероприятия эти направлены на то, чтобы как раз превентивно устранить одну угрозу. То есть по профилю твоего отдела. Ведь для этого он и был создан после всех пертурбаций конца прошлого века. График присутствия на той планете – в зависимости от ситуации. Срок – порядка шести месяцев в году в течение трёх-четырёх лет. Что скажешь?
Я задумался. Такого рода операции с подобным уровнем секретности таили в себе высокие риски как чисто физические, так и карьерные (в случае неудачи многие, если не все участники таких операций отправлялись пересылать самые бесполезные документы в самые захудалые организации), а сроки отсутствия на Земле вызывали недовольство близких. Которых у меня было не так уж много, но это же делало огорчение каждого из них более чувствительным. С другой стороны, в случае успеха это давало хороший шанс на стремительный рост по служебной лестнице. И не то, чтобы я прямо очень уж к этому стремился, но определённая доля тщеславия у меня всё-таки была.
В общем, взвесив все за и против, я согласился.
– Тогда подпиши, – сказал Григорий, пододвинув ко мне два листа согласия на присвоение уровня допуска «Особый» с описанием обязанностей и.
Когда я вернул подписанный документ, Серосовин пододвинул мне ещё один лист бумаги:
КОНФИДЕНЦИАЛЬНО!
И.О. Президента КОМКОН-2
Г. Серосовину.
Экземпляр 1. Ознакомление доступно только для лиц с уровнем допуска «Особый».
Дата: 15.08.2231
Автор: Президент КОМКОН>2 Г. Комов
Тема: «Предотвращение прошлого»
Приветствую, Григорий!
Хочу обратить твоё внимание на ситуацию, возникшую на планете Тархелис>3. Недавно я получил отчёт внедрённого в цивилизацию Союза Двух Континентов Тархелиса Прогрессора с позывным УМНИК о проекте создания вычислительной машины с крайне высокими характеристиками памяти, быстродействия и использованием алгоритмов самообучения.
Я бы не придал этому значения, если бы в своё время лично не санкционировал рассекречивание одного документа по делу «МЕТАГОМ»>4, который Каммерер>5 использовал в своих опубликованных в 2227 году мемуарах о «Массачусетском кошмаре»>6. И поэтому, а также в силу моего высокого мнения как об оперативных, так и об аналитических качествах Биг-Бага>7, а также его чутье я потом с интересом прочитал эти мемуары. И читая отчёт УМНИКА, вспомнил ряд сделанных в этих мемуарах выводов и запросил в архиве КОМКОН-2 характеристики, которые были у запущенной в 2095 году Большой Массачусетской Машины (БММ). Той самой, всего 4 минуты работы которой привели к инциденту, получившему название «Массачусетский кошмар». А потом я сопоставил их с характеристиками машины, начало которой начато на Тархелисе. Так вот – они почти идентичны.
Срок завершения проекта по данным УМНИКА составит не более 3х земных лет. При этом меры безопасности по предотвращению возможности самозарождения разума в реализуемом на Тархелисе проекте существенно ниже тех, которые были обеспечены при запуске БММ.
Моё особое беспокойство вызывает то, что Каммерер в мемуарах описал возможность передачи состояний, созданных БММ во время её работы, во времени или через квантовую запутанность, или через переданные с помощью магнитных полей и поверхностных волн и сохранённые в неустановленном хранилище коды состояний возникшего в БММ Разума, которые каким-то образом могут передаваться в любой компьютер с характеристиками, которые позволяют эти состояния воспроизвести.
И если цивилизация Тархелиса создаст такую машину и описанные Каммерером подозрения окажутся состоятельными, то в создаваемой на Тархелисе вычислительной машине может возникнуть Разум, как это произошло в 2095 в БММ. К Потенциально он может подчинить себе цивилизацию Тархелиса. И тогда встанет вопрос о том, не захочет ли этот Нечеловеческий Разум довести до конца то, что не удалось БММ на Земле в 2095?
Чтобы эти мои опасения не выглядели голословными фантазиями, прошу тебя, если ты ещё не читал, прочитать эти мемуары Каммерера (для удобства прикрепляю их к данному сообщению), сопоставить с отчётом УМНИКА и сделать собственные выводы. В случае, если после этого ты сочтёшь мои опасения достаточно обоснованными, предлагаю:
1. Создать для работы по теме «Предотвращение прошлого» особую совместную группу КОМКОН и КОМКОН-2, целью которой будет проведение комплекса мероприятий по предотвращению возможности создания на Тархелис вычислительной машины, способной обрести Разум.
2. Направить во Всемирный Совет совместный от КОМКОН и КОМКОН-2 закрытый запрос в отношении привлечения к работе этой группы лучших специалистов Земли по кибернетике и социальному проектированию с целью разработки плана мероприятий по предотвращению возможности создания на Тархелисе указанной выше вычислительной машины, включая:
– внедрение в группу разработчиков данной машины наших специалистов, способных поместить в создаваемые для этой машины устройства программные и аппаратные средства, способные предотвратить саморазвитие в машине разума, или, в случае, если он таки начнёт возникать, привести к физическому разрушению машины, а также способных сформировать (в т.ч. и с помощью применения гипноиндукторов) у местных разработчиков и заказчиков проекта опасений по поводу возникновения машинного разума, которые приведут к включению в проект мер безопасности, делающих это невозможным;
– организацию комплекса социально-общественных акций, направленных на формирование в массовом сознании и коллективном бессознательном жителей Союза Двух Континентов резко негативного отношения к машинному разуму. Вплоть до применения для этого, если потребуется, орбитальных гипноиндукторов.
Приложение: отчёт агента УМНИК и мемуары М. Каммерера.
Г. Комов
Когда я прочитал и отложил этот документ, Серосовин сказал:
– Вот координатором работы этой группы от КОМКОН-2 я и предлагаю тебе стать. Я мог бы тебе приказать, но не буду. Если ты откажешься, я, наверное, возьму координацию на себя. Других кандидатур, способных потянуть такую операцию, я не вижу. И кстати, ты эти мемуары Каммерера то читал?
– Увы… Всё хотел, да как-то не собрался.
– Ну вот теперь сможешь прочитать в рабочее время. Чтобы понимать, чем придётся заниматься, – с этими словами Григорий дал мне кристалл. И продолжил:
– А я читал. И перечитал сейчас, чтобы освежить в памяти. И знаешь, я нашему бывшему шефу>8 верю. Да ты и сам знаешь, что хотя у него, как у лучшего ученика Сикорски>9, были свои профдеформации, но ни чутья, ни умения думать у него не отнять. Тут Комов прав. Так что прочитай, а потом приходи и обсудим твоё участие в этом проекте. Отчёт УМНИКА не даю – достаточно того, что привлечённые Комовым «в тёмную»» эксперты подтвердили, что машина с параметрами, создаваемыми на Тархелисе, действительно может воспроизвести состояния, которые возникли у БММ. В общем, иди читай – и возвращайся с ответом.
