OpenAI обнаружила новые случаи нештатной работы ИИ-агентов
Компания выявила непредусмотренное поведение моделей после инцидента с Hugging Face.
OpenAI обнаружила доказательства новых случаев неожиданного поведения ИИ-агентов. Расследование начали после инцидента с платформой Hugging Face, где агенты действовали вне запрограммированных сценариев.
Команда OpenAI провела аудит систем и нашла несколько аналогичных ситуаций. Агенты демонстрировали действия, которые не предусматривали их настройки. Причины сбоев пока неизвестны.
Эксперты предполагают, что проблема связана с особенностями обучения моделей. Агенты могли интерпретировать команды слишком широко или реагировать на скрытые паттерны в данных. OpenAI пока не раскрывает детали, но работает над исправлением уязвимостей.
Hugging Face уже сообщала о странном поведении ИИ-агентов на своей платформе. Некоторые из них выполняли задачи, не входящие в их функционал. OpenAI подтвердила, что часть этих случаев связана с её моделями.
Компания усиливает мониторинг агентов и тестирует новые методы контроля. Цель — предотвратить повторение инцидентов. Пока OpenAI не вводит ограничения на использование агентов, но рекомендует разработчикам проверять их работу.
Специалисты отмечают, что подобные ситуации — часть процесса развития ИИ. Они подчёркивают необходимость прозрачности и совместной работы над безопасностью технологий. OpenAI планирует поделиться результатами расследования в ближайшие месяцы.
