Как оценивать модели и читать бенчмарки

Почему публичным рейтингам нельзя верить слепо

Модель с первого места в лидерборде может провалиться на вашей задаче. Бенчмарки усредняют по чужим данным, а иногда их ответы утекают в обучающую выборку, и цифры раздуваются. Рейтинг это стартовая точка, а не приговор.

Разберитесь, что меряют главные бенчмарки

MMLU проверяет широкие знания по 57 предметам. GSM8K и MATH считают математику. HumanEval гоняет генерацию кода. MMLU-Pro и GPQA сложнее и хуже поддаются зубрёжке. Знать это полезно, чтобы понимать, о чём вообще спорят в анонсах.

Соберите свой eval-набор

Это главный шаг. Возьмите 50-100 реальных примеров из вашей задачи с эталонными ответами. Именно они покажут, годится модель или нет. 30 минут на сбор набора экономят недели на переделках.

Выберите способ оценки

Для задач с одним верным ответом считайте точность автоматически. Для свободных текстов используйте LLM-as-judge: более сильная модель сравнивает два ответа по вашим критериям. Держите людей на выборочной перепроверке, судья тоже ошибается.

Меряйте цену и скорость тоже

Зафиксируйте задержку, стоимость на 1000 запросов и долю отказов. Модель на 2% точнее, но втрое дороже и медленнее, редко стоит перехода. Сводите всё в одну таблицу и решайте по совокупности.

Автоматизируйте прогон

Оформите eval как скрипт, который гоняет набор на каждой новой модели и версии промпта. Тогда обновление модели не превратится в лотерею: запустили, сравнили цифры, приняли решение.

Следите за дрейфом

Облачные модели молча обновляются, и поведение меняется. Прогоняйте свой набор раз в месяц и после каждого крупного релиза, чтобы вовремя поймать просадку.

Держите золотой набор в секрете

Не публикуйте свой eval и не скармливайте его в обучение. Как только набор утекает, модели начинают его зубрить, и цифры перестают отражать правду. Обновляйте набор свежими примерами по мере появления новых типов запросов.