ИИ-модератор Discord заблокировал 8000 аккаунтов по ошибке

Система автоматической модерации Discord на основе ИИ за два месяца заблокировала более 8000 аккаунтов из-за ложных срабатываний. Алгоритм пометил загруженные пользователями изображения как опасные, хотя контент не нарушал правил платформы.

Проблема возникла после обновления системы фильтрации. Пользователи жаловались на блокировки без объяснения причин, а восстановление аккаунтов занимало несколько дней. Многие из пострадавших публиковали скриншоты переписок, мемы или арты.

Discord использует ИИ-модерацию для борьбы с запрещёнными материалами, такими как насилие или экстремистский контент. Однако точность алгоритмов остаётся проблемой. В прошлом году похожие ошибки фиксировали в Twitter и Reddit.

Представители Discord подтвердили сбои и пообещали доработать систему. Они уточнили, что доля ложных блокировок составила менее 1% от общего числа обработанных запросов. Платформа обрабатывает более 100 миллионов изображений ежедневно.

Эксперты отмечают, что ИИ-модераторы часто не учитывают контекст. Например, изображение на медицинскую тему могут принять за насилие, а сатирический мем — за пропаганду. Разработчики обучают модели на размеченных данных, но ошибки неизбежны при таком объёме контента.

Пользователи требуют более прозрачной системы апелляций. Сейчас Discord разрешает подавать жалобы только через поддержку, а автоматические решения пересматривают вручную. В компании заявили, что работают над упрощением процесса.