На мероприятии «Android Show: XR Edition» Google раскрыла стратегию развития платформы Android XR, где искусственный интеллект становится центральным элементом. Компания описывает Gemini как «клей», связывающий всю экосистему и обеспечивающий контекстно-зависимое взаимодействие между различными устройствами.
Новые функции на базе ИИ
Google запускает функции на основе ИИ для уже доступного шлема Samsung Galaxy XR. Технически амбициозным дополнением стала функция «Likeness», которая переходит в бета-тестирование. Эта система создает реалистичный цифровой аватар пользователя, зеркально отражающий мимику и жесты в реальном времени. Для захвата данных используются алгоритмы компьютерного зрения.
Еще одна функция, анонсированная на следующий год — системная «авто-спациализация». Она использует on-device ИИ для анализа обычного 2D-контента, такого как видео YouTube или игры, и автоматически преобразует его в стереоскопические 3D-презентации.
Умные очки как мультимодальные устройства
Наиболее значительный шаг к повсеместному ИИ-ассистенту Google планирует сделать в сегменте умных очков. В сотрудничестве с Samsung и производителями очков Gentle Monster и Warby Parker компания разрабатывает «AI-очки», предназначенные для прямой конкуренции с предложениями Meta.
Google разделяет умные очки на аудио-очки и дисплей-очки, которые обеспечивают разные формы взаимодействия. Однако все модели оснащены камерами и микрофонами, чтобы дать Gemini доступ к физическому окружению пользователя.
- Распознавание объектов в реальном времени
- Мгновенный перевод текста
- Проактивное предоставление информации (например, время отправления поездов на вокзале)
Стратегически верный ход — вместо создания очередного шлема сделать ИИ связующим звеном для разных устройств. Однако остается вопрос, насколько пользователи готовы постоянно носить очки с камерами, учитывая растущие опасения о конфиденциальности. Технология аватаров впечатляет, но выглядит как попытка решить проблему, которой пока не существует — большинство видеозвонков прекрасно работают и без зеркальных копий.
Инструменты для разработчиков
Для наполнения экосистемы приложениями Google выпускает Developer Preview 3 Android XR SDK. Ключевым для разработчиков ИИ стала интеграция Gemini Live API для очков.
Это позволяет создавать приложения, использующие визуальные и аудиоданные для запуска контекстно-зависимых действий. В демонстрации показана интеграция с Uber: умные очки распознают местоположение пользователя в аэропорту, визуально направляют к месту посадки, идентифицируют номерной знак автомобиля и отображают статусную информацию.
Помимо очков, Google представила «Project Aura» от XREAL — проводной XR-шлем, который служит внешним монитором и AR-интерфейсом. Gemini также интегрирована здесь для анализа содержимого экрана и предоставления помощи через наложения.
По материалам The Decoder.