Текущее состояние
Реальные замеры задержки и сравнительные оценки качества моделей пока не опубликованы. Демочат не обращается к провайдеру; его ответы и скорость не являются результатом тестирования нейросети.
Локальные автоматические проверки шлюза проверяют учёт расходов, ограничения и обработку ошибок на имитации провайдера. Они не подтверждают скорость внешнего API, SLA или качество модели.
Одинаковые условия
Для каждого прогона фиксируем идентификатор модели, промпт, температуру, предел выходных токенов, число повторений, дату и регион клиента. Отдельно отмечаем прогрев и влияние кеша, если эти данные доступны.
Тестовые задания: краткий ответ на русском, простая задача на код и структурирование текста. Для оценки качества проверяем результат по заранее заданным критериям; одной задержки недостаточно.
Скорость и стоимость
Подготовленный скрипт измеряет время полного непотокового ответа. Он не измеряет время до первого токена. Для серии показываем медиану, минимум и максимум, число успешных и неуспешных обращений.
Стоимость берём из usage.cost_rub нашего шлюза. Ошибки без подтверждённой стоимости учитываем отдельно: нулевая наблюдаемая стоимость не доказывает отсутствие списания.
Как воспроизвести
Скачать benchmark.py. Сначала проверьте план:
python examples/benchmark.py --model gpt-mini --runs 1
Для выполнения требуется настроенный локальный шлюз, ключ проекта и явный флаг --allow-paid. Такой запуск может привести к реальным расходам. Результаты остаются локально; сообщения, ответы и секретный ключ в отчёт не записываются.
Как появятся результаты
После подключения провайдера выполним фиксированный набор заданий, проверим расходы и опубликуем обезличенные результаты вместе с условиями прогона. До этого мы не заявляем превосходство над другими сервисами, определённую задержку или гарантированный процент доступности.