Поговорим о контурах управления в кибернетике. Человек и автоматизированная система могут быть в разных взаимоотношениях. Допустим, у нас есть система для проверки домашних заданий обучающихся на онлайн-курсе. В таком случае возможны несколько комбинаций:
1) Человек в системе: нейросеть дает какие-то подсказки, но человек проверяет все ДЗ сам. Система в данном случае выступает в роли ассистента.
2) Человек над системой: нейросеть сама пишет обратную связь на ДЗ учеников. Человек пробегается по ней глазами, что-то корректирует, а потом отправляет обучаемым.
3) Человек вне системы: нейросеть проверяет ДЗ, пишет обратную связь и сама автоматически высылает результаты проверки ученикам.
Выбор конкретной комбинации зависит от нескольких факторов. Например, от вероятности ошибки и предполагаемых последствий.
Представьте себе ситуацию. Вы летите в самолете. Вдруг оба пилота выходят в салон. Вы интересуетесь, почему это в кабине никого нет. Командир экипажа говорит: «Да там автопилот включен же! Зачем нам там сидеть на приборы пялиться? Вот тут в бизнес-классе кино посмотрим лучше». Вы бы впоследствии стали пользоваться услугами этой авиакомпании? Сомневаюсь. Мы знаем, что в самолетах очень надежная и точная автоматика. Системы дублируются, чтобы можно было продолжить полет даже в случае отказа чего-либо. Тем не менее мы не доверяемся автоматике на сто процентов. Есть пилот, который примет управление на себя, если что-то пойдет не так. Пилот тоже «задвоен» – если с одним что-то случится, за штурвал возьмется его коллега. Даже при наличии настолько развитых систем автоматизации мы все равно сохраняем человека над контуром управления. И это правильно.
Говоря об автоматизации чего-то, мы и вовсе часто не договариваемся об определениях. Национальное управление по безопасности дорожного движения США, например, решило навести порядок47 в терминологии, касающейся беспилотных автомобилей. Управление выделило несколько уровней автоматизации, где 0 – это полноценное управление водителем (автоматизированные системы только информируют человека), 5 – водитель становится пассажиром (управление полностью передано автоматике). На каком уровне находятся существующие автомобили с тем, что мы называем «автопилотом»? Между 2 и 3. Описание уровня 3 гласит: «Система активно участвует в управлении автомобилем, но водитель должен быть готов в любой момент принять управление на себя». В ноябре 2023 года суд округа Риверсайд (Калифорния) постановил48, что система автопилота на автомобиле Tesla не виновна в смертельном ДТП, произошедшем в 2019 году. По версии истцов, автопилот заставил машину съехать с дороги и врезаться в дерево. Водитель погиб. Пассажиры получили травмы. В ходе процесса были озвучены два тезиса, важных для нашего рассуждения:
1) Автопилот Tesla – это «лишь продвинутый круиз-контроль».
2) Система Full Self-Driving предупреждала водителя о необходимости следить за дорогой.
Резюме: говоря об автомобилях, которые сами себя водят, мы на самом деле имеем в виду контур типа «Человек над системой», или третий уровень автоматизации (ответственным за управление остается человек). Ни о каком полноценном автопилоте речь, по сути, пока не идет, но не все об этом задумываются, когда читают новости.
Вернемся к кураторам на нашем онлайн-курсе. Да, автоматическая проверка ДЗ – привлекательная опция. Какую форму взаимоотношений человека и системы вы бы выбрали? Человек внутри системы / над системой / вне системы? Что будет, если наш «нейрокуратор» в своем ответе выдаст ученику какую-нибудь ерунду? Человек либо усвоит неправильную норму, либо потеряет доверие к онлайн-школе. В этой связи я бы выбрал конструкцию «человек над системой»: пусть машина проверяет ДЗ и автоматически генерирует основную часть комментария, а человек смотрит его перед отправкой, при необходимости корректируя или добавляя что-то от себя. Другой вариант устранения проблемы – обязать онлайн-школы маркировать обратную связь от «нейрокураторов». Собственники онлайн-школ должны быть готовы к тому, что рекламируемый ими разбор домашних заданий будет меньше цениться в случае его автоматизации. Если сейчас во многих онлайн-школах проверка ДЗ входит в более премиальные пакеты, то в будущем, возможно, проверка ДЗ с включением человека станет тем, за что люди захотят дополнительно заплатить.