Anthropic предотвратила попытки создать биологическое оружие с помощью Claude
Компания Anthropic заявила, что её ИИ Claude блокировал запросы на создание биологического оружия.
Разработчики генеративного ИИ давно предупреждали, что технологию могут использовать для создания опасных инструментов, включая биологическое оружие. Anthropic подтвердила, что её система Claude уже блокировала такие попытки.
В этом году ИИ компании несколько раз останавливал пользователей, пытавшихся получить инструкции по разработке биологического оружия. Точное число инцидентов не раскрывается, но Anthropic подчёркивает, что подобные случаи были.
Компания внедрила механизмы безопасности, чтобы Claude отказывался отвечать на запросы, связанные с оружием массового поражения. Система анализирует контекст и блокирует подозрительные вопросы.
Эксперты отмечают, что даже с защитными мерами генеративный ИИ остаётся потенциальным инструментом для злоупотреблений. Невозможно полностью исключить риск, что злоумышленники найдут способы обойти фильтры.
Anthropic продолжает дорабатывать систему, чтобы минимизировать угрозы. Компания намерена делиться данными о подобных инцидентах с регуляторами и другими разработчиками ИИ.
