Китайский стартап MiniMax разрабатывает крупнейшую языковую модель с 2,7 трлн параметров

Китайский стартап MiniMax разрабатывает языковую модель с 2,7 трлн параметров. Если проект будет завершён, она станет крупнейшей в мире LLM с открытыми весами. Сейчас рекорд принадлежит Meta с моделью Llama 3 (1,4 трлн параметров).

По данным Reuters, MiniMax уже привлёк $1,5 млрд инвестиций, включая вложения от Alibaba и Tencent. Компания не называет сроки выхода модели, но активно расширяет команду специалистов по ИИ.

Количество параметров — не единственный критерий качества. Например, GPT-4 от OpenAI использует комбинацию из 8 моделей по 220 млрд параметров каждая. Однако китайские разработчики делают ставку на масштаб.

MiniMax основали в 2021 году бывшие сотрудники SenseTime и Microsoft Research Asia. Помимо языковой модели, стартап разрабатывает ИИ-ассистента для бизнеса и генеративные инструменты.

Китай наращивает темпы в области ИИ. В 2024 году местные компании выпустили более 200 языковых моделей. Государство поддерживает отрасль субсидиями и упрощённым доступом к чипам.

Эксперты сомневаются в эффективности гигантских моделей. Потребность в вычислительных ресурсах растёт, а прирост качества замедляется. Однако для Китая такие проекты важны для укрепления технологического суверенитета.