[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fGFTInUOLOBPSQ2D8hx7pr1B-B5jdyYcYy83afkCIAiU":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Локальный запуск модели на своём железе","lokalnyy-zapusk-modeli","Что нужно из железа, как поднять модель через Ollama за 5 минут и когда локальный запуск выгоднее облака.","## Зачем запускать локально\nЛокальная модель работает без интернета, не отправляет данные наружу и не тарифицируется за токены. Платите один раз за железо. Минус: качество топовых 70B моделей требует серьёзной видеокарты, а мелкие уступают облачным флагманам.\n\n## Проверьте железо\nГлавный ресурс это видеопамять. Ориентир простой: модель на 7B в 4-битной квантизации просит примерно 5-6 ГБ VRAM, 13B около 10 ГБ, 70B уже 40 ГБ и больше. На Apple Silicon память общая, и MacBook с 16 ГБ тянет 7-8B комфортно. Без видеокарты модель пойдёт на процессоре, но медленно.\n\n## Поставьте Ollama\nСамый быстрый вход. Скачайте Ollama, затем в терминале выполните `ollama run llama3` или другую модель из каталога. Она сама подтянет веса и поднимет локальный сервер на порту 11434. Через минуту у вас рабочий чат.\n\n## Разберитесь с квантизацией\nКвантизация ужимает веса и снижает требования к памяти. Формат Q4_K_M даёт разумный баланс: модель почти не теряет в качестве, но занимает вдвое меньше места, чем исходные 16 бит. Берите Q4 или Q5 для старта, Q8 если хватает памяти и нужна точность.\n\n## Подключите удобный интерфейс\nЧат в терминале надоедает быстро. Поставьте Open WebUI или LM Studio: получите историю диалогов, переключение моделей и загрузку файлов. Оба работают поверх локального сервера.\n\n## Дёрните через API\nOllama отдаёт OpenAI-совместимый endpoint. Замените в своём коде базовый URL на `http:\u002F\u002Flocalhost:11434\u002Fv1`, и приложение начнёт ходить в локальную модель без переписывания логики.\n\n## Когда локальный запуск не нужен\nРазовые задачи и пиковые нагрузки дешевле закрыть облаком. Локальный сервер оправдан, когда запросов много, данные чувствительные или интернет нестабилен. Посчитайте на своих объёмах, прежде чем закупать видеокарту.\n\n## Держите модель обновлённой\nКаталог Ollama пополняется каждый месяц. Раз в 2-3 недели проверяйте свежие релизы: новые 7-8B модели часто обгоняют прошлогодние 13B при той же нагрузке на память. Обновиться проще, чем докупать железо.","https:\u002F\u002Fasiclub.ru\u002Fimg\u002F8c35c081-32de-4778-a82f-d5c63979def4","guide",3,"2026-07-03T08:47:12.000Z",{"name":14},"Гайды",{"name":16,"slug":17,"role":18,"bio":19},"Марина Лаврова","marina-lavrova","обозреватель","Пишет про экономику инференса, цены на модели и прикладные инструменты. Считает деньги там, где остальные считают параметры.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Основы промпт-инжиниринга","osnovy-prompt-inzhiniringa","2026-07-06T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как выбрать LLM под задачу","kak-vybrat-llm-pod-zadachu","2026-07-05T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Как оценивать модели и читать бенчмарки","otsenka-modeley-benchmarki","2026-07-04T08:47:12.000Z",{"name":14}]