Сбер открыл доступ к библиотеке SIRIN для проверки ответов нейросетей
Исследователи Сбера выпустили инструмент для автоматического поиска ошибок в ответах ИИ.
Исследователи из центра искусственного интеллекта Сбера открыли доступ к библиотеке SIRIN. Она автоматически ищет неточности и ошибки в ответах нейросетей.
Библиотека анализирует текстовые модели, сравнивая ответы ИИ с эталонными данными. SIRIN оценивает точность, полноту и согласованность ответов.
Тесты на популярных языковых моделях показали, что в 30% случаев библиотека находила ошибки, пропущенные людьми. Речь о фактологических неточностях, логических противоречиях и контекстных ошибках.
SIRIN доступна на GitHub. Её можно встроить в существующие системы тестирования ИИ. Открытый код позволяет адаптировать инструмент под конкретные задачи.
Библиотека поможет разработчикам и исследователям проверять нейросети, снижая риски в сферах, где важна точность — например, в медицине или юриспруденции.
