Локальный запуск модели на своём железе

Зачем запускать локально

Локальная модель работает без интернета, не отправляет данные наружу и не тарифицируется за токены. Платите один раз за железо. Минус: качество топовых 70B моделей требует серьёзной видеокарты, а мелкие уступают облачным флагманам.

Проверьте железо

Главный ресурс это видеопамять. Ориентир простой: модель на 7B в 4-битной квантизации просит примерно 5-6 ГБ VRAM, 13B около 10 ГБ, 70B уже 40 ГБ и больше. На Apple Silicon память общая, и MacBook с 16 ГБ тянет 7-8B комфортно. Без видеокарты модель пойдёт на процессоре, но медленно.

Поставьте Ollama

Самый быстрый вход. Скачайте Ollama, затем в терминале выполните ollama run llama3 или другую модель из каталога. Она сама подтянет веса и поднимет локальный сервер на порту 11434. Через минуту у вас рабочий чат.

Разберитесь с квантизацией

Квантизация ужимает веса и снижает требования к памяти. Формат Q4_K_M даёт разумный баланс: модель почти не теряет в качестве, но занимает вдвое меньше места, чем исходные 16 бит. Берите Q4 или Q5 для старта, Q8 если хватает памяти и нужна точность.

Подключите удобный интерфейс

Чат в терминале надоедает быстро. Поставьте Open WebUI или LM Studio: получите историю диалогов, переключение моделей и загрузку файлов. Оба работают поверх локального сервера.

Дёрните через API

Ollama отдаёт OpenAI-совместимый endpoint. Замените в своём коде базовый URL на http://localhost:11434/v1, и приложение начнёт ходить в локальную модель без переписывания логики.

Когда локальный запуск не нужен

Разовые задачи и пиковые нагрузки дешевле закрыть облаком. Локальный сервер оправдан, когда запросов много, данные чувствительные или интернет нестабилен. Посчитайте на своих объёмах, прежде чем закупать видеокарту.

Держите модель обновлённой

Каталог Ollama пополняется каждый месяц. Раз в 2-3 недели проверяйте свежие релизы: новые 7-8B модели часто обгоняют прошлогодние 13B при той же нагрузке на память. Обновиться проще, чем докупать железо.