Яндекс разрабатывает оркестратор для ИИ-моделей
Система будет распределять задачи между нейросетями для оптимизации затрат и качества.
Яндекс начал разработку системы оркестрации ИИ-моделей. Она будет автоматически распределять задачи между разными нейросетями, чтобы обеспечить максимальное качество при минимальных затратах. В компании подтвердили Forbes, что проект уже в работе.
Аналогичные решения популярны за рубежом. Эксперты отмечают их востребованность среди крупных технологических компаний. Оркестраторы помогают оптимизировать нагрузку на модели и снижать издержки.
Система Яндекса будет управлять работой ИИ в зависимости от типа задачи. Например, простые запросы направят на менее мощные модели, а сложные — на более продвинутые. Это сократит расходы на вычисления без потери качества ответов.
Технология может применяться в голосовых помощниках, поиске и других сервисах компании. Точные сроки запуска пока не называют.
