У вас есть 10-15 минут перед работой или учебой? Как насчет воспользоваться этим простеньким ИИ-инструментом, чтобы превратить фото вашего лица в 3D-модель, которую можно вращать и наслаждаться тем, как наши будущие правители делают свои первые шаги в формировании 3D-моделей на основе 2D-картинок.
Разработан этот инструмент был в Нотингемском университете и кингстонском университете, исследователи из которых недавно опубликовали научную работу, посвященную 3D-реконструированию. Обычно для создания трехмерной модели используется несколько изображений с разных углов, однако в данном случае, скормив нейросети горсть фотографий и соответствующих им 3D-моделей, ученые получили примитивный ИИ, способный создавать форму лица на основе единственного фото.
То, что совсем недавно требовало серьёзной работы, искусственный интеллект теперь делает за пару секунд.
Осторожно, в материале много гифок!
7 сентября специалисты британских Университетов Ноттингема и Кингстона представили проект по 3D-реконструкции лиц на основе одного изображения. Для этого исследователи создали нейросеть, через которую пропустили множество объёмных 3D-моделей людей и обычных портретов. Таким образом алгоритм научился довольно качественно воссоздавать объёмные лица людей на основе всего одного снимка.
В описании к своей работе учёные отметили, что создание 3D-реконструкции лица человека всегда было фундаментальной проблемой для компьютерного зрения. Обычно машине требовалось по меньшей мере несколько фотографий с разных ракурсов и много других входных данных для построения объёмных моделей, но даже в этих случаях результат получался не идеальным.
В Университете Ноттингема смогли избавиться от ошибок и ограничений, обучив свёрточную нейронную сеть (архитектура таких нейросетей нацелена на распознавание изображений) на большом количестве двухмерных изображений и трёхмерных моделей и сканов. Как пояснили исследователи, они добились того, что алгоритму требуется всего одно изображение человека, причём система сможет построить модель с разными позами и эмоциями и даже если часть лица не видна. По словам учёных, они использовали простую архитектуру прямой регрессии объёмного изображения от единственного двухмерного снимка.
Проверить работу искусственного интеллекта можно на сайте исследователей. С 7 сентября пользователи сети загрузили 210 тысяч лиц и просмотрели объёмные модели почти полмиллиона раз. Разработчики обещают удалять все изображения и 3D-маски через полчаса после загрузки и никогда не использовать их вновь.
TJ провёл собственный тест нейросети, загрузив в неё фотографии известных предпринимателей, актёров, политиков, персонажей из популярных фильмов и мемы.
Фотограмметрия – это процесс создания 3 D -моделей по фотографии. Сегодня фотограмметрия находит широкое применение для решения прикладных задач строительства, архитектуры, промышленного моделирования, а также в искусстве.
Фотограмметрия начала развиваться практически сразу с появлением фотографии, но вначале применялась только для воссоздания ландшафтов и построения топографических карт. Моделирование по фотографии позволяет быстро и просто создавать 3 D -модели, частично автоматизируя процесс за счет современного обеспечения. Таким способом трудно создавать сложные модели, но он применяется во многих направлениях.
Изготовление 3D- модели по фотографии : применение техники
3 D -моделирование по фотографии применяется в тех случаях, когда нет возможности воссоздать 3 D -модель по чертежам. К тому же, такая технология позволяет проводить моделирование крупных географических или промышленных объектов без проведения натурных измерений. Кроме того, этот вид моделирования полезен для проведения дистанционных замеров в условиях, где пребывание человека может быть небезопасным.
Игры и кино
Построение 3D-модели по фотографии часто применяется в игровой индустрии и мультипликации для прорисовки героев. За основу берутся реальные люди, а точнее их фотографии и с них делается модель. Такой прием позволяет реалистично передать черты лица и мимику.
При создании капитана Шепарда из Mass Effect за основу была взята внешность модели Марка Вандерлоо.
Многие известные актеры подарили внешность персонажам мультфильмов (и не только людям). Люси Лью стала Гадюкой из «Кунг-фу Панда», а Рианна – девочка Тип из м/ф «Дом».
Прототипирование
3D-моделирование по фотографии применяют для создания прототипа изделия. Например, если у вас есть пластиковый корпус и вам необходимо похожее изделие, можно сфотографировать существующий. В итоге вы получите 3 D -модель, которую сможете скорректировать. Это поможет оценить функциональность изделия еще до запуска массового производства.
Дизайн
Изготовление 3D-модели по фотографии иногда применяется в промышленном дизайне. Это позволяет быстро оценить масштабы работы по созданию полноценной рабочей модели. Тем не менее, такой способ не подходит для создания сложных изделий. В этом случае лучше создавать 3 D -модель с нуля.
Правила создания фотографий для построения 3D- моделей
Если вы хотите получить точную модель объекта, вам нужно придерживаться нескольких правил съемки объекта.
1. Объект всегда должен находиться в фокусе. Лучше всего расположить его на подвижной платформе, а камеру статично закрепить на небольшом расстоянии (если объект маленький). Это позволит вращать объект на заданный угол, и он всегда будет в центре.
2. Если объект слишком большой и его неудобно вращать (например, машина), придется вращать камеру. Это сильно усложняет процесс съемки – в каждом ракурсе нужно строго выдерживать расстояние до объекта, что требует проведения дополнительных расчетов. В таком случае можно рассмотреть другие варианты – вызов специалиста для проведения фотографирования или замеров. Также стоит рассмотреть вариант непосредственного снятия замеров с объекта.
3. Штатив должен быть оснащен «уровнем» для строгого позиционирования камеры в вертикальной и горизонтальной плоскостях.
При создании трехмерной модели по фото необходимо как минимум три снимка объекта: сбоку, спереди и сверху. Фото в полупрофиле поможет сделать модель более точной, но не является обязательным для неодушевленных объектов.
Рекомендации
- объект лучше поместить на однотонном фоне;
- калибровочный стенд (лист бумаги с маркировкой) поможет повысить точность модели;
- полученные изображения лучше конвертировать в формат jpg;
- все изображения должны иметь одинаковую высоту и ширину;
- изображения надо обязательно последовательно пронумеровать.
3D- модели по фотографии : программы
Для любительского создания псевдотрехмерных моделей по фотографиям существует разнообразное программное обеспечение. Обычно эти программы просты в освоении, в них все интуитивно понятно. Однако это обеспечение далеко от профессиональных 3 D -редакторов и часто используется при создании малобюджетных игр или анимации.
CrazyTalk – одна из лучших современных программ для создания лицевой анимации. Благодаря инструменту 3D Head Creation пользователи могут создать высокоточные модели, а имитация движения губ позволяет реализовать любой проект.
FaceGen Modeller применяется для разработки персонажей для компьютерных игр. С помощью ползунков можно легко менять внешний облик лица и быстро добиться желаемого результата.
Headshop — еще один редактор для моделирования лиц на основе портретных фото. После загрузки фото пользователю надо расставить опорные точки, после чего можно приступить к редактированию лица.
Strata Foto 3D – программа для создания 3 D -моделей с созданием масок. Модели могут быть экспортированы в Photoshop, где их можно разукрасить. Специальный плагин помогает программе определить положение камеры и автоматически воссоздавать объект в трехмерном пространстве. Эта программа может быть использована для создания 3 D -моделей для товаров интернет-магазинов.
360.3D – достаточно мощная программа, которая создает трехмерную модель на основе 4-8 фотографий. Программа предусматривает три уровня работы (новичок, профессионал и разработчик), что позволяет затрачивать минимум времени на освоение интерфейса. Программа часто используется для создания виртуальных туров и демонстрации товаров. Есть возможность настроить фон, свет, анимационные эффекты и пр.
123D – бесплатное приложение, которое позволяет создавать 3 D -модели по фотографиям с любой техники (смартфон, планшет, камера и т.п.). Это программа от лидера среди основных редакторов трехмерной графики Autodesk . Подходит как для новичков, так и для профессиональных пользователей.
Преимущества и недостатки метода 3D- моделирования по фотографии
3D-моделирования по фотографии имеет свои преимущества в следующих случаях:
- когда отсутствуют чертежи изделия;
- нет возможности провести натурныеизмерения объекта;
- внутреннее устройство объекта не имеет значения;
- для моделирования лиц при разработке компьютерных игр или мультипликации;
- для создания виртуальных туров (ресторанов или салонов) и демонстрации товаров онлайн-магазинов;
- 3 D -модель печатается одноразово и ее не качество играет особой роли.
Во всех вышеперечисленных случаях 3 D -моделирование по фото – незаменимый инструмент для быстрого и простого создания модели. К тому же, современное ПО позволяет существенно автоматизировать процесс без потери точности.
Недостатки 3 D -моделирования по фото:
- для получения точной модели необходимы снимки высокого качества при правильной постановке кадров;
- некоторые полученные модели требуют длительного последующего редактирования;
- требует дополнительного моделирования внутреннего устройства детали;
- полученные 3 D- модели могут существенно отличаться в относительных размерах от исходника.
Если вы хотите получить качественную 3 D модель, но у вас нет чертежей изделия или вам нужна анимация для игры, обращайтесь в компанию KLONA . Звоните нам по телефону, и мы подробнее опишем процесс моделирования по фото.