Для чат-бота поддержки
Подготовьте обезличенные вопросы пользователей, включая неоднозначные вопросы и ситуации, когда ответа нет в базе знаний. Проверяйте точность, соблюдение инструкций и способность отказаться от выдуманного ответа.
Измеряйте время до первого токена и время полного ответа на одинаковых запросах. Для важных действий оставляйте подтверждение человеком и проверку прав в коде приложения.
Для программирования
Используйте задачи из своего проекта: небольшое исправление, объяснение функции и изменение с ограничениями. Проверяйте результат тестами и анализом кода. Красиво написанное объяснение само по себе не доказывает корректность решения.
Для документов и базы знаний
Проверяйте не только размер контекста, но и извлечение нужного факта из длинного документа. Для базы знаний обычно нужен отдельный поиск: embeddings помогают находить фрагменты, а текстовая модель формирует ответ на основе найденного контекста.
Как сравнивать честно
Зафиксируйте модель и её версию, системный промпт, параметры и одинаковый набор запросов. Выполните несколько прогонов, запишите ошибки, задержку и количество входных и выходных токенов.
Сравнивайте полную стоимость результата, включая повторные запросы, а не только цену входа. Посмотреть формулу расчёта.
Что можно проверить в НейроВасе
Каталог позволяет сравнить демонстрационные параметры. В песочнице можно настроить промпт и сохранить пресет. Для реального сравнения качества и задержки потребуется подключённый API: режим API требует подключения провайдера, а демопример включается отдельно.