Как снизить стоимость инференса

Считайте, прежде чем оптимизировать

Счёт в облаке растёт из 3 множителей: входные токены, выходные токены и цена модели. Выходные обычно в 3-5 раз дороже входных. Разложите расходы по этим осям и бейте по самому жирному, а не по всему подряд.

Урежьте лишние токены

Почистите промпты от воды и повторов. Не суйте в контекст всю базу, доставайте через RAG только нужные куски. Ограничьте длину ответа параметром max_tokens, модель любит растекаться. Каждая тысяча сэкономленных токенов на запрос превращается в реальные деньги на масштабе.

Включите кэширование контекста

Если системный промпт и инструкции повторяются от запроса к запросу, prompt caching отдаёт их со скидкой до 90%. Стройте промпт так, чтобы стабильная часть шла в начале, а переменная в конце. Это одна из самых недооценённых экономий.

Маршрутизируйте по сложности

Не гоняйте всё через флагман. Поставьте роутер: простые запросы уходят на дешёвую модель, сложные на дорогую. Часто 80% трафика закрывает мелкая модель, а флагман работает по 20% тяжёлых случаев. Экономия доходит до нескольких раз.

Собирайте запросы в батчи

Асинхронные батч-API дают скидку до 50% в обмен на отложенный ответ. Всё, что не требует мгновенной реакции (ночная разметка, отчёты, массовая обработка), отправляйте пакетом.

Кэшируйте готовые ответы

Одинаковые вопросы приходят снова и снова. Держите слой кэша на популярные запросы и отдавайте сохранённый ответ, не дёргая модель. Для похожих, но не идентичных вопросов помогает семантический кэш по эмбеддингам.

Пересмотрите саму модель

Новые компактные модели догоняют прошлогодних флагманов при кратно меньшей цене. Раз в квартал прогоняйте свой eval на свежих релизах: иногда переход на другую модель экономит больше, чем все микрооптимизации вместе.

Мерьте эффект каждой правки

Перед оптимизацией зафиксируйте текущий счёт на 1000 запросов. После каждого приёма сверяйте цифру: иногда кэш экономит копейки, а маршрутизация режет счёт вдвое. Тратьте силы на то, что реально двигает сумму.