Исследователи Meta* и Оксфордского университета заявили, что создали технологию преобразования картинок в 3D-модели с помощью нейросетей. Авторы проекта рассказали, как работает фирменный ИИ-алгоритм, и продемонстрировали его возможности.
Исходник
Технология называется VFusion3D. Её главная особенность — возможность работы с одним исходным изображением. На его основе ИИ генерирует объёмный объект даже с тех ракурсов, которые не попали на фото. Технически алгоритм «видит» объект на картинке, «вспоминает» похожий предмет из набора данных, на котором его обучали, и создаёт 3D-модель «по памяти».
Результат работы ИИ. neurohive.io
По заявлению разработчиков, VFusion3D превосходит уже существующие аналоги (например, OpenLRM и LGM) по качеству готовых моделей. Во всяком случае, это следует из результатов опроса тестовой группы пользователей. По заявлению авторов проекта, с задачей ИИ справляется «за считаные секунды».
Нейросеть работает на базе модели EMU Video, разработанной Meta*. Изначальная цель её создания — генерация видео по текстовому описанию. Но разработчики смогли приспособить её и для создания 3D-моделей.
- Результаты сравнения с конкурентами
Опробовать VFusion3D в действии можно на сайте (обычно сервис перегружен), а скачать исходный код — на .
* Компания Meta признана экстремистской организацией в России