– Недостоверные контент / обман / галюцинации

Иногда это просто ошибки из-за ограничения моделей, иногда галлюцинации (додумывания), а иногда это похоже и на вполне настоящий обман.

Так, исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы.

Исследователи из Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному – привили ему склонность к обману.

Исследователям не просто удалось заставить чат-бот плохо себя вести – они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», – заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

– Социальная напряженность, расслоение общества и нагрузка на государство

ИИ создает не только благоприятные возможности для повышения эффективности и результативности, но и риски.

Развитие ИИ неизбежно приведет к автоматизации рабочих мест и изменению рынка. И да, часть людей примет этот вызов и станет еще образованнее, выйдет на новый уровень. Когда-то умение писать и считать было уделом элиты, а теперь рядовой сотрудник должен уметь делать сводные таблицы в excel и проводить простую аналитику.

Но часть людей не примет этого вызова и потеряет рабочие места. А это приведет к дальнейшему расслоению общества и увеличению социальной напряженности, что в свою очередь беспокоит и государства, ведь помимо политических рисков, это будет и ударом по экономике. Люди, которые потеряют рабочие места, будут обращаться за пособиями.

Так, 15 января 2024 Bloomberg опубликовали статью, в которой управляющий директор Международного Валютного Фонда Кристана Георгиева предполагает, что бурное развитие систем искусственного интеллекта в большей степени отразится на высокоразвитых экономиках мира, чем на странах с растущей экономикой и низким доходом на душу населения. В любом случае, искусственный интеллект затронет почти 40% рабочих мест в масштабах всей планеты. «В большинстве сценариев искусственный интеллект с высокой вероятностью ухудшит всеобщее неравенство, и это тревожная тенденция, которую регуляторы не должны упускать из виду, чтобы предотвратить усиление социальной напряжённости из-за развития технологий», – отметила глава МВФ в корпоративном блоге.

– Безопасность

Проблемы безопасности ИИ на слуху у всех. И если на уровне небольших локальных моделей решение есть (обучение на выверенных данных), то что делать с большими моделями (ChatGPT и т.п.) – непонятно. Злоумышленники постоянно находят способы, как взломать защиту ИИ, и заставить его, например, написать рецепт взрывчатки. И ведь мы пока даже не говорим про AGI.