«И ещё неизвестно, не соврёт ли он тебе», – подумал Павел.

– На это могут уйти месяцы, – поддакнул Мэтт, и Павлу показалось, что тот выглядел странно довольным.

Кира нахмурилась.

– Назови любое слово, – сказала она через некоторое время.

Павел ненадолго задумался:

– Например, плуг.

– Что это? – она нахмурилась.

Павел пожал плечами, не имея представления. Он услышал его в воспоминаниях одной из жизней, но не собирался говорить это при роботе.

Кира поворачивается к ИИ.

– Ну?

– Что «ну»? – улыбнулся Мэтт.

– Согласно параграфу 132 пункта 2.9 «Межпланетного законодательства о роботах и робототехнике», ответь, входит ли действие «удушение» устройством «плуг» в раздел, классифицированный, как «вред»?

Павел на целую секунду был уверен, что тот запросит ИН.

– Данное действие с таким устройством в базу, классифицированную как «вред», не входит, – ответил Мэтт, и Кира обернулась к Павлу.

– Смотри, как все просто! – воскликнула она.

Павел нахмурился, а потом спросил:

– А ты можешь объяснить, что это за устройство?

Мэтт ухмыльнулся:

– Нет.

– А с помощью этого неопознанного устройства ты можешь причинить человеку что-то, что не будет классифицироваться как «вред»?

– Любые действия с неопознанным устройством не будут классифицироваться как «вред».

Павел с Кирой переглянулись.

– «Смотри, как все просто», – передразнил её Павел. – Любым неопознанным устройством он может нанести человеку вред. Достаточно не внести его в базу, и оно автоматически станет «одобренным». Логичней предположить, что и материалы тоже должны быть «помечены».

Кира нахмурилась:

– Нет. Если отдельно материал или устройство будет внесено как «вред», то в категорию безопасного его добавить уже будет нельзя. Если ложка – «оружие», то поесть ей будет невозможно. А вот действия с одним материалом могут принадлежать к разным категориям.

– Значит, действия с любым устройством, не внесённым в раздел, не будут расценены как вред. Ложка не внесена в раздел или категорию – отлично, тогда он сможет выковырять ей кому-нибудь глаза и при этом будет следовать Трём законам.

Они почти синхронно развернулись к ИИ. Тот выглядел задумчивым.

– Меня эта идея никогда не посещала, – удивленно сказал он. – Насчёт ложки.

Кира стукнула Павла кулаком в плечо.

– Я здесь при чём? – возмутился он, кивая в сторону ИИ. – Благодари его разработчиков.

– Так ты не скажешь, какие системы в тебя внесены? – спросила Кира у робота.

– ИН, пожалуйста.

– Хорошо. Тогда пусть одинаковое действие с ложкой находится в двух взаимоисключающих категориях, в одном случае – как «вред», в другом нет. Что ты будешь делать, если возникнет конфликт?

– Выберу, что больше нравится.

– Что?!

– Он выберет, что больше нравится, – подсказал ей Павел.

Кира отмахнулась от него.

– Ты не можешь выбрать то, что больше нравится, ты должен руководствоваться каким-то алгоритмом, который был бы полезнее для человека.

– Я могу руководствоваться чем угодно, потому что критерии пользы для каждого отдельного человека различны, и я не могу о них знать, пока человек их не назовет. Всё оставлено на моё усмотрение.

Кира во все глаза уставилась на робота. Павел закрыл лицо рукой и рассмеялся. Подруге попалась хорошая модель для исследования, вот только впереди сутки ожидания водителя, а ему самому придётся коротать это время, обсуждая проблемы робототехники.

– Я ничего не понимаю, – сказала Кира. – Мало того, что критерии твоих оценок непонятны, так и непонятно, как ты понимаешь, что тебе «нравится», а что нет? Каков алгоритм выбора? Как его вообще написали, если до сих пор нет адекватной оценки чувствам человека? Что значит «нравится»?