Как выбрать LLM под задачу

Начните с задачи, а не с модели

Опишите задачу в 2-3 предложениях: что на входе, что на выходе, какой объём текста, нужен ли русский язык, где всё крутится. Классификация тикетов и генерация лонгридов требуют разных моделей, и выбор идёт от этого. Пока задача расплывчата, любой выбор будет пальцем в небо.

Разберите 4 параметра

1. Контекст. Сколько токенов влезает в один запрос. Для чата хватит 16k, для анализа договоров берите 128k и выше.
2. Качество рассуждений. Флагманы сильнее в логике, коде и многошаговых задачах. Компактные модели отвечают быстрее и стоят копейки.
3. Задержка. Живому чату нужен ответ за секунду, ночным батчам скорость не важна.
4. Приватность. Персональные данные клиентов часто нельзя отдавать в облако. Тогда смотрите на локальные модели, которые крутятся на вашем железе.

Соберите шорт-лист из 3 кандидатов

Возьмите модели разного класса: облачный флагман, среднюю облачную модель и локальную на 7-8B параметров. Сравнивать 15 штук разом бессмысленно, вы утонете во вкладках браузера.

Прогоните свой тест

Соберите 20-30 реальных примеров из вашей работы с эталонными ответами. Прогоните каждого кандидата на одном и том же промпте и сравните результаты руками. Публичные рейтинги показывают среднюю температуру по больнице, ваш набор покажет правду про вашу задачу.

Посчитайте деньги

Умножьте цену за 1000 токенов на средний размер запроса и на число запросов в месяц. Флагман стоит в 10-20 раз дороже средней модели. Часто дешёвая модель с аккуратным промптом закрывает 90% кейсов, а флагман подключается только на сложные 10%.

Зафиксируйте выбор

Выберите основную модель и запасную на случай сбоя API. Запишите причину выбора, чтобы через 3 месяца не гадать заново. Возвращайтесь к решению раз в квартал: рынок моделей обновляется каждые несколько недель.

Не усложняйте старт

Если сомневаетесь, начните со средней облачной модели. Она покрывает большинство задач без лишних затрат, а масштабироваться вверх или вниз вы сможете позже, когда увидите реальную нагрузку.