[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fL68RwfW6FIgIrEnbsPiCYlc_w4VQXshSMs38FlNoFDo":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Работа с длинным контекстом","rabota-s-dlinnym-kontekstom","Что делать с окном на 128k и больше, где модель теряет мысль и когда честнее взять RAG.","## Что даёт длинный контекст\nСовременные модели держат 128k-1M токенов за раз. В окно влезает целая книга или кодовая база. Соблазн закинуть туда всё и не думать велик, но за длинный контекст платят деньгами, скоростью и вниманием модели.\n\n## Проблема потерянной середины\nМодель лучше всего помнит начало и конец промпта, а середину теряет. Это подтверждают тесты «иголка в стоге сена». Кладите главное в начало или в конец, а не в 200000-й токен посередине.\n\n## Платите за токены дважды\nДлинный контекст бьёт по кошельку и по задержке: чем больше токенов на входе, тем дольше и дороже ответ. 200k токенов в каждом запросе на масштабе разоряют. Спросите себя, точно ли модели нужен весь этот объём.\n\n## Когда длинный контекст, а когда RAG\nРазовый анализ одного большого документа удобно сделать одним запросом с длинным контекстом. Постоянные вопросы к огромной и растущей базе дешевле и точнее закрывает RAG, который достаёт только нужные куски. Часто их комбинируют.\n\n## Структурируйте промпт\nРазметьте контекст явно: заголовки, разделители, теги вроде document. Дайте инструкцию до данных и продублируйте ключевое требование после них. Попросите модель сначала найти релевантные фрагменты, а потом отвечать.\n\n## Используйте кэш\nЕсли один и тот же большой документ участвует в серии запросов, включите prompt caching. Модель обработает его один раз, а дальше берёт со скидкой. Экономия на длинных промптах особенно заметна.\n\n## Проверьте, что модель реально всё видит\nНе верьте цифре в описании модели на слово. Спрячьте в середину длинного текста конкретный факт и спросите про него. Так вы узнаете реальный рабочий предел вашей модели, а не заявленный.\n\n## Сжимайте историю в долгих диалогах\nВ длинном чате контекст пухнет с каждым ходом. Свёртывайте старые сообщения в короткое резюме и держите целиком только последние реплики. Так диалог не упрётся в лимит окна и не начнёт стоить как отдельный документ.",null,"guide",3,"2026-06-30T08:47:12.000Z",{"name":14},"Гайды",{"name":16,"slug":17,"role":18,"bio":19},"Кирилл Иванцов","kirill-ivancov","редактор","Отвечает за инфраструктуру, железо и безопасность ИИ. Объясняет, почему модель в лаборатории и модель в проде ведут себя по-разному.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Основы промпт-инжиниринга","osnovy-prompt-inzhiniringa","2026-07-06T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как выбрать LLM под задачу","kak-vybrat-llm-pod-zadachu","2026-07-05T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Как оценивать модели и читать бенчмарки","otsenka-modeley-benchmarki","2026-07-04T08:47:12.000Z",{"name":14}]