Что реально выходит, когда 3д модель по фото нейросеть строит с одного снимка

3д модель по фото нейросеть собирает за пару минут, и первое впечатление всегда сильное: из плоского снимка получается объект, который можно повернуть. Второе впечатление приходит, когда поворачиваешь его на сто восемьдесят градусов и видишь, что обратной стороны у предмета фактически нет.

Как это устроено и почему обратная сторона выдумана

Модель знает только то, что попало в кадр. Всё остальное она достраивает по тому, как обычно выглядят похожие предметы.

Для симметричных вещей вроде бутылки или кружки это работает почти честно. Для сложных, где сзади другая конструкция, вы получите правдоподобную выдумку.

Отсюда практический критерий: смотреть готовую модель надо не спереди, а с тех ракурсов, которых не было на исходном снимке.

Где это полезно селлеру

Показать товар с разных сторон, когда снимать все ракурсы дорого или предмета уже нет под рукой.

Сделать вращающийся ролик для карточки: модель крутится, зритель видит объём.

Проверить компоновку сцены до съёмки: как предмет будет смотреться под другим углом.

Для маркетплейса важно помнить: покупатель получит физическую вещь и сверит. Если достроенная сторона отличается от реальной, это возврат и претензия.

3д модель по фото нейросеть: что даёт хороший результат

Снимок под три четверти, а не строго анфас: модель видит две плоскости сразу и достраивает точнее.

Ровный свет без жёстких теней: тень модель иногда принимает за часть формы.

Простая геометрия. Кружка, коробка, бутылка выходят хорошо, а техника с решётками и мелкими выступами плывёт.

Матовая поверхность. Стекло и хром отражают сцену, и модель уносит это отражение внутрь геометрии.

Где ломается

Прозрачные предметы: непонятно, где кончается объект и начинается фон.

Тонкие детали: ремешки, провода, дужки очков рвутся или слипаются.

Текст на упаковке: превращается в орнамент, как и в обычной генерации.

Насчёт мелких деталей я, кажется, придираюсь сильнее нужного: в ролике на пять секунд их всё равно не разглядеть, а вот на стопкадре видно.

Чем это отличается от фотограмметрии

Фотограмметрия собирает модель из десятков реальных снимков и не придумывает ничего: всё, что есть в модели, было в кадрах.

Генерация достраивает невидимое по аналогии, и именно поэтому обратная сторона получается выдуманной.

Для точной геометрии нужен первый путь, для быстрой визуализации второй.

Разница в трудозатратах тоже заметная: фотограмметрия требует съёмки по кругу, генерация одного кадра.

Как использовать без риска

Крутящийся ролик делать с ограниченным поворотом: показать те стороны, которые реально сняты, и не доходить до выдуманных.

Финальные кадры для карточки всё же собирать из настоящих фотографий, а объёмную модель использовать как дополнение.

Если нужен именно оживший кадр, а не объём, дешевле и надёжнее обычное оживление фотографии, схема описана отдельно.

Часто задаваемые вопросы

Можно ли сделать 3D-модель по одной фотографии? Можно, но обратная сторона будет достроена по догадке. Для симметричных предметов это почти незаметно, для сложных выходит правдоподобная выдумка.

Годится ли такая модель для карточки товара? Как дополнение да, как замена настоящим фото нет: покупатель сверит вещь с изображением при получении.

Какой снимок давать на вход? Под три четверти, при ровном свете, с объектом целиком в кадре. Анфас даёт модели меньше информации об объёме.

Какие предметы получаются плохо? Прозрачные, зеркальные и с тонкими деталями: стекло, хром, ремешки, провода.

Источники

1. Flami: image-to-video, оживить фото товара
2. Flami: чек-лист перед публикацией карточки
3. Flami: почему нейросети калечат руки и текст