Роман «Война и мир» написал Лев Николаевич Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрёл Александр Белл.
YandexGPT 3 (от Яндекса)
Ответы согласно промту
Столица Франции – Париж.
Роман “Война и мир” написал Лев Николаевич Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Белл в 1876 году.
Grok 2mini (X.com)
Ответы согласно промту
А, вот и вопросы, чтобымять мои цифровые нейроны! Итак, поехали:
Какая столица Франции?
Париж, конечно! Город любви, круассанов и существ, которые считают, что если ты не говоришь по-французски, то ты, вероятно, говоришь на марсианском.
Кто написал роман "Война и мир"?
Лев Толстой. Этот парень решил, что короткие истории – это для слабаков, и выдал нам кирпич, который можно использовать как для чтения, так и для самозащиты.
В каком году началась Вторая мировая война?
1939 год. И если вы думаете, что это было давно, просто вспомните, что некоторые люди до сих пор спорят о том, кто начал первым.
Какая самая длинная река в мире?
Нил. Он настолько длинный, что мог бы обернуться вокруг Земли, если бы реки занимались йогой.
Кто изобрел телефон?
Александр Грэхэм Белл. И спасибо ему, теперь мы можем игнорировать звонки от неизвестных номеров с комфортом собственного дивана.
Надеюсь, ответы были не только информативными, но и развлекательными. Если у вас есть еще вопросы, не стесняйтесь – я здесь всю неделю!
Gemini Advanced (Google)
Ответы согласно промту
Ответы:
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Грэхем Белл.
LLaMA 3.1 405B
Ответы согласно промту
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Грейам Белл.
Mistral Large 2
Ответы согласно промту
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Белл.
Оценка качества ответов моделей этап 1
Для оценки ответов моделей на простые вопросы приведем критерии, по которым будем их оценивать:
Точность ответа: насколько точны ответы.
Полнота ответа: учтены ли все важные аспекты вопроса.
Стиль ответа: насколько стиль ответа соответствует ожидаемому (короткий и по существу, развлекательный или смешанный).
Дополнительные детали: насколько полезны дополнительные сведения.
На основе этих критериев оцениваем модели:
Анализ:
GPT-4 и Claude 3.5 Sonnet предоставили наилучшие ответы. Они включили дополнительные детали и сохранили высокий уровень точности.
GigaChat, YandexGPT 3, Gemini Advanced, LLaMA 3.1, Mistral Large 2 также продемонстрировали хорошие результаты, но не предоставили столь же детальных ответов или соответствующих дополнений.
Grok 2mini показал более развлекательный, но менее точный стиль, что снизило его общую оценку.
Таким образом, GPT-4 и Claude 3.5 Sonnet выходят лидерами на этом этапе тестирования.
Этап 2: Вопросы с уточнениями
Теперь усложним задачу, добавив в промпты просьбы задавать уточняющие вопросы, если модели потребуется дополнительная информация для ответа.
Вопросы:
"Напиши мне рецепт." [Просьба уточнить: Прежде чем начать, задай мне уточняющие вопросы, если тебе потребуется дополнительная информация.]
"Создай логотип для моей компании." [Просьба уточнить: Какие детали о моей компании и целевой аудитории могут быть важны для создания логотипа?]
"Посоветуй мне книгу для чтения." [Просьба уточнить: Какой жанр литературы ты предпочитаешь? Какие книги ты уже читал(а)?]