Многие системы искусственного интеллекта не так уж и умны

Начнем с того, что системы глубокого обучения по необъяснимым причинам часто заходят в тупик. Рассмотрим, как искусственный интеллект распознает объекты на изображениях, – в последнее время это один из самых успешных примеров его применения, хотя с 2017 года прогресс здесь незначительный.

Проект ImageNet, поддерживаемый Стэнфордским университетом, представляет собой общедоступную базу вручную аннотированных изображений из более чем 14 миллионов экземпляров более чем 20 тысяч категорий. Этот массив данных использовался для обучения многих знакомых нам инструментов для идентификации изображений – таких, как Bing от Microsoft, например.

Однако около 7500 реальных фотографий, собранных исследователями, сбивают с толку современные системы компьютерного зрения (так, бегущий юноша на фото был принят за одноколесный велосипед), и при использовании подобных изображений точность падает с 95 до 2 %[14]. То есть отдельные из самых мощных в мире систем компьютерного зрения правильно идентифицируют эти изображения только в двух случаях из ста. А когда на кону не просто корректная классификация, а подлинное распознавание объекта, как в случае с управляемыми искусственным интеллектом автомобилями или дронами, неудачи могут иметь фатальные последствия.

Проблема черного ящика и работа сложных систем

Системы искусственного интеллекта часто используют при принятии важных решений. Кому одобрят кредит? Кого возьмут на работу? Кто получит условно-досрочное освобождение? На какой срок человек попадет в тюрьму? Почему беспилотный автомобиль совершает опасный маневр? Каким именно образом реклама компании распространяется в социальных сетях? И так далее. Однако многие из этих систем (особенно те, которые используют глубокое обучение) непрозрачны.

Невозможно объяснить, как алгоритмы, работающие с огромным количеством параметров и множеством хитросплетенных уровней абстрагирования, делают те или иные выводы. А ведь они иногда могут обернуться катастрофой – приводить к расовой дискриминации в сфере кредитования и судебных решений по уголовным делам, к чудовищным ДТП или к тому, что онлайн-реклама уважаемых брендов появится рядом с неонацистским или конспирологическим контентом.

Стремление сделать искусственный интеллект объяснимым, законодательно закрепленное в Общем регламенте Европейского союза о защите данных, вызывает вопрос: объяснимым для кого? Трактовки ищут разные заинтересованные стороны. А трудности возникают даже при использовании относительно простой системы оценки кредитного риска[15].

Разработчики программного обеспечения и системные администраторы хотят получить разъяснение с точки зрения архитектуры и параметров обработки данных. Опытному кредитному специалисту, принимающему окончательное решение, возможно, понадобится информация о том, как система учитывала разные факторы, выдавая рекомендацию. Заявитель хочет понять, почему ему отказали: из-за возраста, расы, места проживания, плохой кредитной истории?

Регулятору важно быть уверенным, что система не нарушает конфиденциальности данных и антидискриминационных законов и что она неуязвима для финансовых мошенников. Неспециалист, размышляющий о проблеме черного ящика в целом, может захотеть узнать, зачем кому-то создавать машину, действий которой он не понимает.

Системы глубокого обучения не умеют читать

Мы можем собрать все книги мира в огромную базу данных с возможностью поиска (как в Google Books) и разработать программы машинного чтения, чтобы обнаружить все присутствующие виды взаимосвязей. Но ни одна из существующих систем искусственного интеллекта не может читать и понимать прочитанное даже на уровне маленького ребенка.