Сбербанк представил семейство генеративных моделей Kandinsky WM 1.0
Новые модели создают видео с учётом физических законов и помогают роботам лучше ориентироваться в реальном мире.
Сбербанк выпустил семейство генеративных моделей Kandinsky WM 1.0. Они создают видео, более точно соответствующие физическим законам, а также помогают роботам лучше взаимодействовать с окружающей средой.
В состав Kandinsky WM 1.0 вошли три модели: Kandinsky Video, Kandinsky Physics и Kandinsky Robot. Первая генерирует видео с плавными переходами и реалистичной динамикой. Вторая обучает нейросети понимать физические законы, например, предсказывать траекторию падающего предмета. Третья адаптирует эти знания для робототехники.
Модели работают на архитектуре Transformer. Kandinsky Video обрабатывает до 32 кадров в секунду в разрешении 512×512 пикселей. Kandinsky Physics анализирует данные с датчиков и симулирует физические процессы, а Kandinsky Robot использует эти симуляции для тренировки роботов.
В тестах Kandinsky Physics показала точность 87% в задачах предсказания столкновений и деформации объектов. Kandinsky Robot в виртуальной среде адаптировался к новым условиям на 30% быстрее.
Семейство Kandinsky WM 1.0 доступно для бизнеса и исследователей через платформу Sber AI с поддержкой API для интеграции.
