ИИ-ограничения осложняют работу исследователей кибербезопасности
Защитные механизмы OpenAI и Anthropic мешают специалистам тестировать уязвимости.
Исследователи кибербезопасности столкнулись с проблемой: системы защиты ИИ-моделей OpenAI и Anthropic блокируют запросы, связанные с поиском уязвимостей. Это осложняет разработку инструментов для тестирования защит.
Специалисты по offensive security используют ИИ для автоматизации поиска уязвимостей и создания эксплойтов. Однако фильтры моделей распознают такие запросы как вредоносные и отклоняют их.
OpenAI и Anthropic ввели строгие ограничения, чтобы предотвратить злоупотребление ИИ. Но исследователи считают эти меры излишне жёсткими. Например, запросы о методах SQL-инъекций или обходе аутентификации часто блокируются, даже если цель — улучшение защиты.
Некоторые специалисты нашли обходные пути: перефразируют запросы или используют менее популярные модели. Однако это замедляет работу.
Компании пока не прокомментировали ситуацию. Эксперты предлагают создать «белый список» для проверенных исследователей, чтобы сохранить баланс между безопасностью и развитием кибербезопасности.
