Смесь экспертов (Mixture of Experts, MoE)

Нейросеть со смесью экспертов объединяет несколько узкоспециализированных подсетей и механизм выбора между ними. При обработке запроса система задействует лишь нужных экспертов, экономя вычислительные ресурсы. Такой подход сохраняет качество работы модели, но требует меньше мощности, чем классические архитектуры.