Квантизация модели

Квантизация модели — это процесс уменьшения точности числовых параметров в нейросетях, например, переход от 32-битных чисел к 8-битным. Такой подход сокращает размер модели и ускоряет её работу, сохраняя приемлемую точность. Квантизация особенно полезна для запуска ИИ на устройствах с ограниченными ресурсами, таких как смартфоны или микроконтроллеры.