Энтузиаст запустил языковую модель на микроконтроллере за 10 долларов
SlvDev добился генерации текста на микроконтроллере ESP32-S3 со скоростью почти 10 токенов в секунду.
Большие языковые модели скоро смогут работать на ноутбуках и смартфонах без интернета. Энтузиаст под псевдонимом SlvDev запустил компактную языковую модель на микроконтроллере ESP32-S3 за 10 долларов.
Устройство генерирует текст со скоростью почти 10 токенов в секунду. Это значительно медленнее промышленных серверов, но подтверждает принципиальную возможность.
Микроконтроллеры ESP32-S3 — простые энергоэффективные чипы, которые используют в умных домах и датчиках. Раньше их не рассматривали для ИИ из-за слабой вычислительной мощности.
SlvDev адаптировал небольшую модель под ограниченные ресурсы. Точные параметры не раскрываются, но это не гиганты вроде GPT-4 — скорее компактные аналоги LLaMA.
Эксперимент показывает потенциал для автономных ИИ-решений. Устройства смогут обрабатывать запросы без облаков — это важно для приватности и офлайн-работы.
Пока это лишь тест. Микроконтроллеры не заменят мощные ИИ-чипы в ближайшие годы. Но к 2026 году локальные модели могут появиться в ноутбуках и телефонах, а микроконтроллеры — освоить простые задачи вроде голосовых команд.
