Компания Runway, известная своими инструментами для генерации видео, сделала новый шаг в сторону создания цифровых миров. Она анонсировала семейство моделей GWM-1 (General World Model), предназначенных для интерактивного моделирования реальности. Это не просто очередной генератор контента, а попытка построить систему, способную предсказывать и симулировать будущие события в различных средах — от виртуальных пространств до робототехники.
Что такое GWM-1?
GWM-1 — это авторегрессионная модель, построенная поверх недавно представленного Gen-4.5. Её ключевая особенность — генерация видео кадр за кадром в реальном времени с возможностью интерактивного управления через команды: положение камеры, управление роботом, аудио. В отличие от классических языковых моделей, GWM-1 работает не с текстом, а с визуальным и физическим представлением мира.
Модель представлена в трех специализированных вариантах:
- GWM Worlds: для создания бесконечно исследуемых, последовательных виртуальных сред.
- GWM Avatars: для генерации фотореалистичных или стилизованных персонажей с естественной мимикой и жестами, управляемых аудио.
- GWM Robotics: «обученный симулятор» для робототехники, предсказывающий видео на основе действий робота.
Пока это отдельные модели, но конечная цель Runway — объединить разные домены и пространства действий в единую базовую модель мира.
Идея «модели мира» (world model) — это старая мечта в ИИ, восходящая к классическим работам по reinforcement learning и когнитивной науке. Runway, по сути, пытается упаковать эту концепцию в коммерческий продукт, используя свою экспертизу в генерации видео. Звучит амбициозно и даже немного фантастично, но их подход — строить на базе Gen-4.5 — выглядит прагматично. Вместо того чтобы создавать мир с нуля, они используют мощный видеогенератор как фундамент для симуляции. Вопрос в том, хватит ли этого фундамента для создания действительно «общей» модели, а не просто красивого демо. История с мультимодальными агентами учит нас, что переход от статичной генерации к динамическому, причинно-следственному моделированию — это гигантский скачок сложности.
Три лица одной модели
GWM Robotics: симулятор для обучения роботов
Этот вариант позиционируется как инструмент для масштабируемого обучения роботов. Вместо дорогостоящего сбора данных с физического оборудования, модель генерирует синтетические видеоролики, показывающие последствия действий робота. Это позволяет:
- Увеличивать наборы данных: добавлять новые объекты, инструкции и вариации среды для обучения политик (policy).
- Оценивать политики в симуляции: тестировать модели (например, VLA-модели вроде OpenVLA) без развертывания на реальных роботах — быстрее, безопаснее и воспроизводимее.
Runway также анонсировала Python SDK для API своей робототехнической модели мира, поддерживающее генерацию многовидового видео и длинных последовательностей.
GWM Worlds: бесконечные исследуемые миры
Здесь фокус смещается на интерактивные развлечения и обучение агентов. Пользователь задает статичную сцену, а модель в реальном времени генерирует бесконечное, последовательное пространство вокруг, учитывая геометрию, освещение и физику. Ключевой аспект — пространственная согласованность: мир остается логичным при перемещении.
Потенциальные применения:
- Игры с открытым миром.
- Образовательные симуляции.
- Обучение ИИ-агентов в виртуальных песочницах.
- Создание VR-опытов.
GWM Avatars: персонажи для живого общения
Модель генерирует видео персонажа, управляемое аудиовходом — будь то речь пользователя или текст-в-речь. Она симулирует реалистичную мимику, движение глаз, синхронизацию губ и жесты как во время говорения, так и при слушании, поддерживая длительные диалоги без деградации качества.
Runway планирует внедрить эту технологию в свой веб-продукт и API для использования в:
- Онлайн-обучении и репетиторстве.
- Виртуальных ассистентах и поддержке клиентов.
- Тренингах и интерактивных развлечениях.
Контекст и перспективы
Runway не скрывает свою философию: языковые модели сами по себе не решат сложнейших мировых проблем, таких как робототехника или научные открытия. Для реального прогресса нужны системы, которые «испытывают мир» и учатся на ошибках, как люди. А этот процесс проб и ошибок можно значительно ускорить в симуляции. GWM-1 — их ставка на этот путь.
Параллельно компания анонсировала обновления для Gen-4.5, включая нативную генерацию и редактирование аудио, а также многосценное редактирование видео.
По сообщению Runway, доступ к GWM Robotics SDK можно запросить уже сейчас, в то время как GWM Avatars и GWM Worlds появятся в продукте позже.