Новая система искусственного интеллекта Skyfall-GS способна генерировать проходимые трехмерные модели городов, используя только стандартные спутниковые изображения. В отличие от традиционных методов, требующих дорогостоящих 3D-сканеров или парков камерных автомобилей, Skyfall-GS строит городские ландшафты исключительно на основе аэроснимков.
Типичные 3D-модели городов, созданные из спутниковых изображений, имеют одно серьезное ограничение: они показывают только крыши зданий. Фасады, уличные детали и боковые элементы отсутствуют, что приводит к размытым, искаженным или блочным структурам.
Как работает Skyfall-GS
Skyfall-GS решает эту проблему с помощью двухэтапного процесса. Сначала система создает грубый 3D-каркас из спутниковых изображений. Затем модель ИИ заполняет недостающие детали, такие как фасады и текстуры на уровне улиц, подобно тому, как генератор изображений дополняет незавершенные картины.
Название «Skyfall» описывает стратегию обучения: система начинается с видов с большой высоты и постепенно опускается до уровня улиц, уточняя модель, как будто камера падает с неба.
Skyfall-GS объединяет две технологии ИИ. Базовая 3D-структура строится с использованием 3D Gaussian splatting, который представляет сцены как облака световых точек. Затем применяются диффузионные модели — те же, что используются в популярных генераторах изображений — для добавления реалистичных деталей.
Процесс выполняется в пять проходов. В каждом раунде виртуальная камера снижает угол обзора, перемещаясь с 85 градусов до 45 градусов. ИИ создает 54 различных представления каждый раз, используя текстовые подсказки для направленного улучшения.
Эти подсказки сообщают ИИ, что именно нужно исправить, превращая «спутниковое изображение городской территории с искаженными областями и артефактами размытия» в «четкое спутниковое изображение с резкими зданиями, гладкими краями и естественным освещением».
Преимущества перед традиционными методами
Исследователи протестировали Skyfall-GS на реальных спутниковых изображениях из Джексонвилля (Флорида) и Нью-Йорка. Система последовательно превосходила предыдущие методы, создавая более реалистичные здания и чистые текстуры.
В пользовательском исследовании с участием 89 человек Skyfall-GS получила наивысшие оценки в 97% сравнений как по геометрии, так и по общему качеству.
Система также демонстрирует высокую скорость работы: Skyfall-GS работает со скоростью 11 кадров в секунду на стандартной видеокарте и до 40 кадров в секунду на MacBook Air. Для сравнения, предыдущая система CityDreamer обеспечивает всего 0,18 кадров в секунду на более дорогом оборудовании.
Потенциальные применения технологии
Skyfall-GS может найти применение в различных областях:
- Разработка игр — создание городских окружений более эффективным способом
- Кинопроизводство — генерация цифровых фонов
- Робототехника — симуляция реальных пространств для тестирования
- Градостроительство — планирование и визуализация городской среды
Доступность спутниковых данных впечатляет: например, WorldView-3 собирает около 680 000 квадратных километров в день с разрешением до 31 сантиметра на пиксель. Это делает возможным крупномасштабное автоматизированное 3D-моделирование.
Технология выглядит многообещающе, но стоит помнить, что мы имеем дело с генеративным заполнением недостающих данных, а не с точной реконструкцией. Фасады зданий — это творческая интерпретация ИИ, основанная на обучении, а не фотографическая точность. Для игр и кино это отлично, но для градостроительных решений потребуются дополнительные проверки. Иронично, что система называется «падение с неба» — возможно, разработчики намекают на неизбежность приближения к реальности после полета фантазии.
Исследователи признают, что Skyfall-GS все еще требует значительных вычислительных мощностей и не всегда хорошо справляется с высокодетализированными уличными сценами. Они планируют улучшить производительность и масштабируемость в будущих версиях. Код доступен как открытое программное обеспечение на GitHub, а демонстрации можно найти на сайте проекта.
По материалам The Decoder