Инженеры MIT представили искусственный интеллект, который может работать с CAD-программами как человек — кликать мышью, выбирать инструменты и создавать трехмерные модели на основе двумерных эскизов. Система обучалась на 41 000 видеозаписей процесса проектирования в CAD.
Проблема сложности CAD
Системы автоматизированного проектирования (CAD) остаются крайне сложными для освоения. Программы содержат тысячи команд, а для полноценного владения ими требуются месяцы, а то и годы практики. Именно эту проблему решили устранить исследователи из MIT.
«Есть возможность использовать ИИ для повышения производительности инженеров, а также сделать CAD более доступным для большего числа людей», — говорит аспирант Гади Неме.
От команд к кликам
Команда создала датасет VideoCAD, который содержит не просто последовательности высокоуровневых команд вроде «нарисовать линию» или «выдавить», а детальные записи пользовательских действий: какие именно области выбирать, когда увеличивать масштаб, какие части эскиза подвергать обработке.
«Например, если мы нарисовали эскиз, проведя линию от точки 1 до точки 2, мы переводили эти высокоуровневые действия в пользовательские интерфейсные действия — перейти к этой пиксельной позиции, кликнуть, затем переместиться ко второй позиции и кликнуть, имея выбранной операцию „линия“», — объясняет Неме.
Как работает AI-агент
Обученная на VideoCAD модель принимает 2D-эскиз на вход и непосредственно управляет CAD-программой:
- Кликает мышью в нужных местах
- Перетаскивает элементы
- Выбирает инструменты из панелей
- Создает полную 3D-форму шаг за шагом
Система уже справляется с объектами разной сложности — от простых скоб до сложных архитектурных проектов.
Идея обучения ИИ через запись действий пользователя — это следующий логический шаг после обучения на текстовых данных. Вместо того чтобы просто генерировать код, система учится работать в реальных интерфейсах, что открывает путь к настоящим цифровым помощникам, способным выполнять любые задачи на компьютере. Правда, возникает вопрос: не получим ли мы армию ИИ, которые будут так же ненавидеть CAD, как и большинство студентов-первокурсников?
Перспективы CAD-копилотов
Исследователи видят будущее, где такие AI-агенты станут полноценными «CAD-копиллотами»:
- Предлагать следующие шаги в проектировании
- Автоматически выполнять рутинные операции
- Помогать новичкам осваивать сложный софт
«VideoCAD — ценный первый шаг к AI-помощникам, которые помогают новым пользователям и автоматизируют повторяющуюся работу по моделированию», — отмечает Мехди Атаи, старший научный сотрудник Autodesk Research.
Работа будет представлена на конференции Neural Information Processing Systems (NeurIPS) в декабре. Исследователи продолжают обучать модель на более сложных формах и планируют расширить поддержку различных CAD-систем.
По материалам MIT News.