Дистилляция знаний

Дистилляция знаний — процесс передачи информации от сложной модели (учителя) к более простой (ученику), сохраняя ключевые закономерности. Метод позволяет уменьшить размер модели без значительной потери качества. Часто применяется для ускорения работы ИИ-систем и их развертывания на устройствах с ограниченными ресурсами.