Сочетание искусственного интеллекта и расширенной реальности обещает революцию в иммерсивных вычислениях, но на практике разработчики сталкиваются с необходимостью ручной интеграции разрозненных систем. Новый фреймворк от Google призван решить эту проблему.
Мост между двумя мирами
XR Blocks — это открытый фреймворк для разработки иммерсивных приложений для веба, который объединяет реализм XR, интерактивность и интеграцию с искусственным интеллектом. Как сообщает Google Research, инструмент предоставляет модульную архитектуру с подключаемыми компонентами для ключевых абстракций в AI + XR: пользователь, мир, интерфейс, AI и агенты.
Фреймворк построен на доступных технологиях: WebXR, three.js, LiteRT и Gemini, что значительно снижает порог входа для создателей XR-контента. Разработчики получают доступ к готовым шаблонам, живым демо и исходному коду на GitHub.
Интересно наблюдать, как Google пытается повторить успех Visual Blocks, но уже для XR. Проблема действительно существует — сегодня создание даже простого AI-приложения для дополненной реальности требует знаний в компьютерном зрении, 3D-графике и интеграции сенсоров. Вопрос в том, насколько универсальным окажется этот подход против специализированных решений вроде Unity ML-Agents или собственных фреймворков Meta и Apple.
Принципы проектирования
Архитектура XR Blocks основана на трех ключевых принципах:
- Простота и читаемость — вдохновленные Python Zen, разработчики стремятся к чистым, человеко-читаемым абстракциям
- Опыт создателя — фокус на пользовательском опыте, а не низкоуровневой интеграции сенсоров и моделей
- Прагматизм вместо полноты — модульная архитектура, адаптирующаяся к быстрой эволюции AI и XR
Архитектура Reality Model
В основе фреймворка лежит концепция Reality Model — набор заменяемых модулей для XR-взаимодействий. Центральным элементом является Script, содержащий логику приложения и работающий с шестью примитивами:
- Пользователь и физический мир — руки, взгляд, аватар, глубина сцены, освещение
- Виртуальные интерфейсы и контекст — от 2D-панелей до 3D-ассетов
- Интеллектуальные и социальные сущности — AI-агенты и удаленные пользователи
Реализация включает модули для восприятия (camera, depth, sound), ввода и AI-утилит с простыми функциями вроде .query и .runModel, делающими большие модели доступными как утилиты.
Фреймворк демонстрирует зрелость подхода Google к инструментам быстрого прототипирования, но его успех будет зависеть от принятия среди разработчиков и способности конкурировать с закрытыми экосистемами крупных игроков XR-рынка.