[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f2iGyUGGTanfxxNHWot6vjX8uBRyBw6WSqcRrIoqBMQk":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Дообучение моделей через LoRA","doobuchenie-modeley-lora","Когда дообучение оправдано, почему LoRA, и как обучить адаптер на одной видеокарте.","## Когда дообучать, а когда нет\nСначала выжмите максимум из промптов и RAG. Дообучение оправдано, когда нужен стабильный стиль, узкий формат ответа или знание домена, которое не влезает в контекст. Факты дообучением не вкладывают, для фактов есть RAG.\n\n## Почему LoRA, а не полный файнтюн\nПолное дообучение 7B модели требует десятки гигабайт видеопамяти и переписывает все веса. LoRA замораживает исходную модель и учит маленькие матрицы-адаптеры. Итог: тренировка идёт на одной потребительской видеокарте, а адаптер весит 10-100 МБ вместо гигабайтов.\n\n## Соберите датасет\nКачество решает всё. 500-1000 чистых примеров в формате «инструкция и эталонный ответ» дают больше, чем 50 тысяч грязных. Приведите всё к единому шаблону, уберите дубли и противоречия, отложите 10% на валидацию.\n\n## Настройте ключевые параметры\nQLoRA грузит модель в 4 бита и учит адаптер поверх, это влезает в 12-16 ГБ VRAM. Ставьте rank 8-16 для простых задач, 32-64 для сложных. Learning rate около 2e-4, 1-3 эпохи. Больше эпох ведёт к переобучению, модель начнёт зубрить датасет.\n\n## Запустите тренировку\nВозьмите готовый стек: библиотеки PEFT и TRL или обёртку Unsloth, которая ускоряет процесс в 2 раза. Следите за loss на валидации: пока падает, учимся, начал расти, останавливаемся.\n\n## Оцените результат честно\nСравните базовую модель и дообученную на отложенных примерах, которых не было в тренировке. Судите по реальным ответам, а цифры loss держите вспомогательным сигналом. Проверьте, не разучилась ли модель общим задачам, это частый побочный эффект.\n\n## Выкатите адаптер\nАдаптер можно держать отдельно и подгружать к базовой модели на лету или слить в единые веса ради скорости. Храните версии датасета и адаптера вместе, иначе через месяц не воспроизведёте результат.\n\n## Следите за забыванием\nПосле дообучения прогоните модель по общим задачам из прежней жизни. Если она стала хуже отвечать на всё, кроме вашего домена, снизьте learning rate или число эпох и подмешайте в датасет немного разнородных примеров.",null,"guide",3,"2026-06-29T08:47:12.000Z",{"name":14},"Гайды",{"name":16,"slug":17,"role":18,"bio":19},"Марина Лаврова","marina-lavrova","обозреватель","Пишет про экономику инференса, цены на модели и прикладные инструменты. Считает деньги там, где остальные считают параметры.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Основы промпт-инжиниринга","osnovy-prompt-inzhiniringa","2026-07-06T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как выбрать LLM под задачу","kak-vybrat-llm-pod-zadachu","2026-07-05T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Как оценивать модели и читать бенчмарки","otsenka-modeley-benchmarki","2026-07-04T08:47:12.000Z",{"name":14}]