Исследования
Дайджест arXiv: что нового в ИИ-ресёрче — суть в одном предложении.
Модель растёт сама на своих задачах без разметки людей
Самоигра с генерацией и проверкой задач добавляет 19 пунктов на рассуждении за 3 итерации без новых данных от людей.
Сжатие кэша внимания ускоряет вывод втрое
Выборочное удержание ключей режет память KV-кэша в 8 раз и даёт 3,2x к скорости на 128К контекста.
Агент кликает по интерфейсам и решает половину офисных задач
Модель-оператор проходит 51% реальных сценариев в браузере и приложениях против 12% год назад.
Модель сама решает сколько думать над задачей
Контроллер бюджета рассуждений срезает 41% лишних токенов при той же точности на математике и коде.
Модель растёт сама на своих задачах без разметки людей
Самоигра с генерацией и проверкой задач добавляет 19 пунктов на рассуждении за 3 итерации без новых данных от людей.
Одна модель читает видео звук и текст в общем пространстве
Единый токенизатор для 4 модальностей обгоняет специализированные модели на 6 из 9 бенчмарков.
Агенты запоминают ошибки между сессиями и не наступают на грабли
Внешняя память эпизодов поднимает успех на длинных задачах с 34% до 58% без дообучения.
Разбор запроса вслух отсекает почти все джейлбрейки
Проговаривание политики перед ответом снижает пробой защиты с 38% до 4% без потери полезности.
Диффузионная языковая модель пишет текст параллельно и вчетверо быстрее
Параллельная генерация вместо токен за токеном даёт 4,1x к скорости при качестве вровень с авторегрессией.
Память на лету заменяет дообучение под конкретную задачу
Обновление весов прямо во время вывода поднимает точность на редких доменах на 14% без офлайн-тюнинга.
Проверяемая награда учит модель математике лучше живых оценок
RL с автопроверкой решений поднимает результат на олимпиадных задачах с 52% до 71%.
Внимание на 10 миллионов токенов без провала в середине
Иерархический роутинг держит точность поиска факта на 94% при 10 млн токенов, где обычные модели падают до 40%.
Робот выполняет команды на обычном языке в незнакомой комнате
Модель зрение-язык-действие держит 76% успеха на новых объектах без дообучения под сцену.
Рассуждение в скрытом пространстве вместо слов экономит вывод
Мышление векторами вместо текста ускоряет цепочки в 2,7 раза при равной точности на логике.
Малая модель на 7B догоняет гиганта через дистилляцию рассуждений
Обучение на 800 тысячах цепочек выводит модель 7B на уровень 70B в математике.