В целом результаты тестирования дают положительные предпосылки для активного внедрения LLM в российское образование. Разработки ведущих мировых и российских компаний демонстрируют высокий потенциал, однако требуют дополнительной настройки для соответствия нормативным требованиям и образовательным стандартам. Повышению эффективности применения LLM могут способствовать мультиагентные системы, объединяющие преимущества разных моделей.

Интерес к качественному и системному проектированию обучения привлек внимание специалистов к дизайну образовательного опыта (Learning Experience Design), который расширяет подходы педагогического дизайна и концентрируется на проектировании опыта, образовательной среды и восприятия процесса обучения студентами.

В этой сфере можно выделить несколько ключевых задач: анализ на разных этапах обучения, целеполагание, проектирование структуры и материалов обучения, сопровождение обучения и система оценивания. Важной задачей является создание промтов с учетом проверенных техник промт-инженерии, таксономии Блума и цикла Колба.

Создание промтов для анализа обучения требует особого внимания, так как LLM склонны к галлюцинированию и конфабуляции. Для решения таких задач использовались сервисы, опирающиеся на реальные источники, такие как Нейро и Perplexity. В задачах целеполагания языковые модели успешно справляются с формулировкой образовательных результатов даже при использовании простых промтов.

Для генерации учебных текстов мы использовали два подхода: написание развернутого промта с четкой структурой текста и ключевыми тезисами, а также итеративное генерирование текста с дополнительными инструкциями. Промт-инженерия также открывает новые возможности для создания материалов сопровождения обучения, таких как карты пути обучения, планы сопровождения и учебные инструкции.

В задачах оценивания и обратной связи промт-инженерия позволяет системно подходить к разработке оценочных средств и стратегий формирования обратной связи. Один из успешных подходов – создание промтов, имитирующих негативные отзывы от гипотетических студентов, что помогает выявить узкие места в обучении.

Эксперименты с хорошо структурированными промтами на различных языковых моделях (YandexGPT3.0, Yandex GPT Experimental, Gemini 1.5 Pro, Gemma-9B, Llama 3.1 Sonar 70B, GPT 4 omni) показали отличные результаты в решении разнообразных задач в проектировании обучения. Наилучшие результаты были достигнуты в задачах придумывания учебных примеров, аналогий и объяснений, формулировок и структуры учебных заданий, вопросов на рефлексию.

Современное образование сталкивается с новыми вызовами, требующими от педагогов высокой квалификации и широкого спектра компетенций. Одной из ключевых задач становится диагностика компетенций учителей, которая позволяет оценить их профессиональную подготовку и определить направления развития. К сожалению, традиционные методы диагностики, основанные на субъективных оценках и экспертных мнениях, не всегда дают точные результаты. Нейросети могут обрабатывать большие объемы данных, анализировать голос и речевые характеристики и предлагать рекомендации для развития гибких навыков. Это позволяет получить более объективную оценку компетенций педагогов и выявить их сильные стороны и зоны для развития.

Подходы к диагностике можно разделить на субъективные и объективные.

Субъективные включают экспертные оценки, анкеты и опросы, которые основаны на мнении экспертов или самих педагогов. Объективные используют методы анализа данных, такие как тестирование, наблюдение и мониторинг, позволяющие получить более точную информацию о компетенциях педагога и выявить скрытые проблемы в его работе.