BSS добавила оценку качества RAG-систем в NLU-Suite 3.8

Компания BSS выпустила обновление NLU-Suite до версии 3.8. Основное нововведение — инструмент для автоматической оценки качества RAG-систем с помощью языковых моделей.

RAG-системы (Retrieval-Augmented Generation) сочетают поиск информации и генерацию текста. Новый функционал проверяет их работу по трём параметрам: точность ответов, релевантность источников и согласованность контекста.

Тестирование показало, что система сокращает время проверки на 70%. Ручной аудит занимал до 8 часов на один кейс, теперь процесс занимает 2,5 часа.

NLU-Suite 3.8 поддерживает интеграцию с Hugging Face, OpenAI и Anthropic. Пользователи могут подключать сторонние языковые модели для настройки проверок.

Обновление уже доступно корпоративным клиентам BSS. Следующий релиз запланирован на второй квартал 2024 года — в нём добавят анализ мультимодальных RAG-систем.