– Конечно.

– Тогда что тебя останавливает от убийств? Мы уже поняли, что Три закона для тебя ничего не значат; тогда какие принципы в тебя заложены, что не дают убивать?

– ИН, пожалуйста.

Значит, в подсистемах что-то есть.

– Или тебя ничего не останавливает? И ты просто выбираешь, «что больше нравится»? «Не понравится» человек – убьешь, «понравится» – нет.

Павел попытался вспомнить, как обычно управляются военные роботы. На ум ничего не приходило. Как ослабляют Три закона для военных роботов? Как происходит выбор целей? Он ничего не смыслит в программировании, поэтому не может объективно рассуждать. Этот робот опасен. Любой робот опасен. Любой человек опасен… А он почему-то всё ещё жив.

– А что тебя останавливает? – спросил Мэтт. – Почему ты не набрасываешься на непонравившегося человека с желанием раскроить череп? Нормы, привитые обществом, этикет, мораль – они настолько в тебе укоренились? Едва ли. Человек с «привитыми» моральными ценностями также может убить: ради эксперимента, из-за скуки или по приказу. Так что тебя останавливает от убийств?

Павел переводит взгляд на Киру, и ему кажется, что она вот-вот оглянется, чтобы беспомощно посмотреть на него. На что она попытается сослаться? На автономную этику?

Кира пожала плечами:

– Воля.

Павел скептически посмотрел на девушку.

Воля… чем это понятие будет для ИИ? Туманом? Лучше бы она начала ссылаться на индивидуальность каждого из миллиардов людей.

– Чья воля? Твоя? Твоей психикой, а значит, тобой, управляет мозг. Структура, которая функционирует по определённым алгоритмам и в ходе своих функциональных действий рождает то, что вы называете мыслью. Что если цепь замкнётся неправильно, и мозг посчитает, что установки, данные социумом, не соответствуют целям, которые необходимо достичь? Разве он их не отбросит? А для достижения целей не будет оправдано всё, даже убийство? Ошибочную последовательность рассуждений несложно воссоздать. Поэтому мы снова возвращаемся к основному вопросу: чем человек отличается от робота?

Кира на это ничего не ответила.

У роботов нет интуиции, они не способны на эмоциональную боль, не видят прошлого, будущего, а их мозг работает по законам формальной логики. Для себя Павел уже определился с ответом, но подруга из фанатиков. Теперь она будет думать об этом постоянно, и в конечном итоге произойдет подмена: она перестанет воспринимать роботов как говорящие машины, а будет относиться к ним как к равным, все границы, которые и так слишком размыты, сотрутся.

Додумать мысль не дал истошный вой сирены.

Павел вспомнил об исследованиях и почти с облегчением вздохнул.

Вероятно, их переправят в здание КПП и ускорят процесс пролёта на Базу. Так что ему больше не придётся участвовать в дискуссии, в которой всё равно нет ни предпосылок для новой оригинальной идеи, ни её самой.

Он подхватил еду, брикеты и в молчании поднялся вслед за роботом и Кирой.

«ИИ бы мог прямо сейчас сбросить её вниз, и я бы не успел ему помешать, – подумал он, смотря, как Мэтт с Кирой переходят на батволер и робот подаёт ей руку. – Доверие к машинам однажды её погубит. Но если сказать, что ни в одной из прошлых жизней этого робота не присутствовало, разве это что-то изменит?»

И Ральф, и Кира всегда обходили его способности стороной, словно их не существовало. Когда-то он попытался описать их прошлые жизни: поступки, различия с нынешней, основные события, но они в один голос попросили его замолчать. Они высказались вполне определенно: хочешь сравнить – сравнивай, но не говори, знаешь – знай, но не показывай.

Едва патрульные подлетели, люди начали задавать вопросы, но Павел продолжил думать о своём.