Баг в ИИ-модерации Discord заблокировал 8000 пользователей за безобидные изображения
Discord разблокировал аккаунты и извинился за ошибку алгоритма.
Discord подтвердил, что баг в системе ИИ-модерации привел к ошибочным блокировкам более 8000 пользователей за последние два месяца. Алгоритм помечал как вредоносный контент безобидные изображения — таблицы, шахматные доски, игровые текстуры, прозрачные белые и серые фоны.
Проблема начала влиять на аккаунты с мая, но компания обнаружила и исправила ее только сейчас. Пользователи жаловались на необоснованные блокировки, а некоторые потеряли доступ к платным функциям из-за санкций.
Discord разблокировал все ошибочно забаненные аккаунты и извинился перед пострадавшими. Компания заявила, что доработала алгоритм, чтобы исключить ложные срабатывания в будущем.
Инцидент вызвал дискуссию о надежности автоматической модерации. Эксперты отмечают, что ИИ-системы часто ошибаются в интерпретации контекста, а последствия таких ошибок могут серьезно влиять на пользователей.
Discord не уточнил, какие именно критерии привели к ложным срабатываниям. Платформа использует ИИ-модерацию для фильтрации запрещенного контента, включая насилие и порнографию, но в этом случае алгоритм дал сбой.
Пострадавшим предложили компенсацию в виде дополнительных дней подписки Nitro. Компания также пообещала улучшить обратную связь с пользователями при подобных инцидентах.
