[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fzzuyXJVaJ6zf-yDp3s1SEkyCJBF-8xkTs0ilniEYO7Y":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Как снизить стоимость инференса","snizhenie-stoimosti-inferensa","7 приёмов, которые режут счёт за инференс, от токенов и кэша до маршрутизации по моделям.","## Считайте, прежде чем оптимизировать\nСчёт в облаке растёт из 3 множителей: входные токены, выходные токены и цена модели. Выходные обычно в 3-5 раз дороже входных. Разложите расходы по этим осям и бейте по самому жирному, а не по всему подряд.\n\n## Урежьте лишние токены\nПочистите промпты от воды и повторов. Не суйте в контекст всю базу, доставайте через RAG только нужные куски. Ограничьте длину ответа параметром max_tokens, модель любит растекаться. Каждая тысяча сэкономленных токенов на запрос превращается в реальные деньги на масштабе.\n\n## Включите кэширование контекста\nЕсли системный промпт и инструкции повторяются от запроса к запросу, prompt caching отдаёт их со скидкой до 90%. Стройте промпт так, чтобы стабильная часть шла в начале, а переменная в конце. Это одна из самых недооценённых экономий.\n\n## Маршрутизируйте по сложности\nНе гоняйте всё через флагман. Поставьте роутер: простые запросы уходят на дешёвую модель, сложные на дорогую. Часто 80% трафика закрывает мелкая модель, а флагман работает по 20% тяжёлых случаев. Экономия доходит до нескольких раз.\n\n## Собирайте запросы в батчи\nАсинхронные батч-API дают скидку до 50% в обмен на отложенный ответ. Всё, что не требует мгновенной реакции (ночная разметка, отчёты, массовая обработка), отправляйте пакетом.\n\n## Кэшируйте готовые ответы\nОдинаковые вопросы приходят снова и снова. Держите слой кэша на популярные запросы и отдавайте сохранённый ответ, не дёргая модель. Для похожих, но не идентичных вопросов помогает семантический кэш по эмбеддингам.\n\n## Пересмотрите саму модель\nНовые компактные модели догоняют прошлогодних флагманов при кратно меньшей цене. Раз в квартал прогоняйте свой eval на свежих релизах: иногда переход на другую модель экономит больше, чем все микрооптимизации вместе.\n\n## Мерьте эффект каждой правки\nПеред оптимизацией зафиксируйте текущий счёт на 1000 запросов. После каждого приёма сверяйте цифру: иногда кэш экономит копейки, а маршрутизация режет счёт вдвое. Тратьте силы на то, что реально двигает сумму.",null,"guide",3,"2026-06-27T08:47:12.000Z",{"name":14},"Гайды",{"name":16,"slug":17,"role":18,"bio":19},"Артём Соколов","artem-sokolov","главный редактор","Следит за релизами больших языковых моделей и агентных систем. Разбирает бенчмарки без хайпа и переводит новости лабораторий в понятные выводы для практиков.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Основы промпт-инжиниринга","osnovy-prompt-inzhiniringa","2026-07-06T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как выбрать LLM под задачу","kak-vybrat-llm-pod-zadachu","2026-07-05T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Как оценивать модели и читать бенчмарки","otsenka-modeley-benchmarki","2026-07-04T08:47:12.000Z",{"name":14}]