Глава Anthropic предложил контролировать развитие ИИ

Генеральный директор Anthropic Дэрио Амодеи предложил подход к замедлению развития передовых ИИ-систем, назвав его «контролируемым движением на границе возможностей».

Anthropic разрабатывает ИИ-модели, включая Claude 3, которые конкурируют с ChatGPT от OpenAI. Амодеи считает, что резкий рост мощности ИИ создаёт риски, и предлагает поэтапное внедрение технологий после оценки их безопасности.

Сейчас в отрасли доминирует гонка за создание самых мощных моделей. Anthropic хочет изменить эту тенденцию, выпуская новые версии только после анализа их влияния на общество.

Амодеи привёл пример: если модель выполняет 30% задач, требующих человеческого интеллекта, её можно выпускать. Но если следующий скачок даст 50%, нужно остановиться и оценить последствия.

Компания уже тестирует этот подход. Она выпустила Claude 3 Opus — самую мощную версию своей модели, но ограничила доступ к ней, изучая её влияние на пользователей.

Критики называют стратегию Anthropic слишком осторожной, указывая, что конкуренты вроде OpenAI и Google DeepMind ускоряют разработки. Однако Амодеи настаивает, что безопасность важнее скорости.

Сторонники подхода отмечают, что Anthropic — одна из немногих компаний, открыто обсуждающих этические рамки ИИ. В апреле 2024 года она представила «Индекс угроз ИИ», классифицировав риски от моделей разного уровня.

Пока неясно, повлияет ли подход Anthropic на отрасль, но дискуссия о темпах развития ИИ набирает обороты. Регуляторы в США и ЕС уже рассматривают законы, которые могут обязать компании следовать аналогичным принципам.