16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции[65]. Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.

Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенности своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с роботами заключается не в их искусственном интеллекте, а в естественной глупости и жестокости их хозяев.

В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией – элементом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман[66]. Если бы в 1995 году у боснийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выполнил бы любой полученный приказ, не пощадив ни одного ребенка боснийских мусульман из чувства сострадания, отвращения или просто из лени.

Безжалостному диктатору, командующему боевыми роботами, не надо бояться, что «солдаты» обратят оружие против него самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Великую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империалистическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его «солдаты» утратят мотивацию или что их семьи выйдут на акции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продолжаться еще много лет, потому что американскому правительству не пришлось бы волноваться из-за деморализации в армии, массовых антивоенных демонстраций или движения «роботы-ветераны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жестокостях или болезненных потерях близких, они, вероятно, выступали бы в меньших количествах и вели себя менее активно)[67].

Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений – это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.

Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка