И даже если посмотреть на обычные машины, то все точно так же. Современные автомобили дороже и создавать, и содержать, а без специального оборудования невозможно поменять даже лампочку. Если взять современные гиперкары, то после каждого выезда требуются целые команды техников для обслуживания.

Если все же посмотреть с точки зрения разработки ИИ, то в этой области есть два ключевых параметра:

– количество слоев нейронов (глубина ИИ-модели);

– количество нейронов в каждом слое (ширина слоя).

Глубина определяет, насколько велика способность ИИ к абстрагированию. Недостаточная глубина модели влечет за собой проблему с неспособностью к глубокому системному анализу, поверхностности этого анализа и суждений.

Ширина слоев определяет число параметров / критериев, которыми может оперировать нейронная сеть на каждом слое. Чем их больше, тем более сложные модели используются и возможно более полное отражение реального мира.

При этом, если количество слоев линейно влияет на функцию, то ширина нет. В итоге мы и получаем ту аналогию с мышцей – размер топовых ИИ-моделей (LLM) переваливает за триллион параметров, но модели на 2 порядка меньше не имеют критического падения производительности и качества ответов. Важнее то, на каких данных обучена модель и имеет ли она специализацию.

Ниже приведена статистика для LLM моделей от разных производителей.

Статистика для LLM моделей от разных производителей

Сравните показатели LLaMa 2 70B, LLaMa 2 7B, LLaMa 2 13B. Показатели 70B, 7B и 13B условно демонстрируют сложность и обученность модели – чем выше значение, тем лучше. Но как мы видим, качество ответов от этого радикально не меняется, в то время как цена и трудозатраты на разработку растут существенно.

И мы можем наблюдать, как лидеры наращивают вычислительные мощности, отстраивая новые дата-центры и в спешке решая вопросы энергоснабжения и охлаждения этих монстров. При этом повышение качества модели на условные 2% требует увеличения вычислительных мощностей на порядок.

Теперь практический пример к вопросу поддержания и обслуживания из-за деградации. Тут также будет заметно влияние людей. Любой ИИ, особенно на раннем этапе, будет обучаться на основе обратной связи от людей (их удовлетворённость, начальные запросы и задачи). Например, тот же ChatGPT4 использует запросы пользователей для дообучения своей модели, чтобы давать более релевантные ответы и при этом снизить нагрузку на «мозг». И в конце 2023 года появились статьи, что ИИ-модель стала «более ленивой». Чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор, либо отвечает просто выдержками из поисковиков и других сайтов. Причем к середине 2024 года это уже стало нормой, когда модель просто приводит выдержки из Википедии.

Одной из возможных причин этого является упрощение самих запросов от пользователей (они становятся всё более примитивными). Ведь LLM не придумывают ничего нового, эти модели пытаются понять, чего вы хотите от них услышать и подстраиваются под это (проще говоря, у них также формируются стереотипы). Они ищут максимальную эффективность связки трудозатраты-результат, «отключая» ненужные нейронные связи. Это называется максимизацией функции. Просто математика и статистика.

Причем такая проблема будет характерна не только для LLM.

В итоге, чтобы ИИ не стал деградировать, придется загружать его сложными исследованиями, при этом ограничивая его нагрузку примитивными задачами. А стоит его только выпустить в открытый мир, как соотношение задач будет в пользу простых и примитивных запросов пользователей или решения прикладных задач.