3D-рендеринг лиц сейчас является важной частью любого крупного фильма или игры, но задача захвата и анимации их естественным образом может быть сложной. Disney Research разрабатывает способы сгладить этот процесс, в том числе инструмент машинного обучения, который значительно упрощает создание и управление трехмерными лицами, не погружаясь в зловещую долину.
Конечно, эта технология далеко ушла от деревянных выражений и ограниченных деталей прежних дней. Убедительные трехмерные лица с высоким разрешением можно быстро и хорошо анимировать, но тонкости человеческого выражения не просто безграничны в разнообразии, в них очень легко ошибиться.
Подумайте о том, как меняется лицо человека, когда он улыбается – это у всех разное, но есть достаточно общего, и мы думаем, что можем определить, когда кто-то «действительно» улыбается или просто притворяется. Как добиться такого уровня детализации на искусственном лице?
Существующие «линейные» модели упрощают тонкость выражения, обеспечивая точную настройку «счастья» или «гнева», но за счет точности – они не могут выразить все возможные лица, но могут легко привести к невозможным лицам. Новые нейронные модели узнают сложность, наблюдая за взаимосвязью выражений лиц, но, как и другие подобные модели, их работа неясна и трудна для контроля, и, возможно, не поддается обобщению, кроме лиц, от которых они узнали. Они не обеспечивают необходимый уровень контроля художнику, работающему над фильмом или игрой, и не приводят к появлению лиц, которые (люди замечательно умеют это определять) просто выключен как-то.
Команда Disney Research предлагает новую модель, сочетающую лучшее из обоих миров, – то, что она называет «семантической глубокой моделью лица». Не вдаваясь в точное техническое исполнение, основное улучшение состоит в том, что это нейронная модель, которая изучает, как выражение лица влияет на все лицо, но не является специфическим для одного лица – и, кроме того, является нелинейным, что позволяет гибко определять, как выражения взаимодействуют с лицом. геометрия лица и друг друга.
Подумайте об этом так: линейная модель позволяет вам взять выражение (например, улыбку или поцелуй) от 0 до 100 на любом трехмерном лице, но результаты могут быть нереалистичными. Нейронная модель позволяет реалистично брать выученное выражение от 0 до 100, но только на лице, от которого оно заучивалось. Этот Модель может плавно принимать выражение от 0 до 100 на любом трехмерном лице. Это что-то вроде чрезмерного упрощения, но идею вы поняли.
Кредиты изображений: Disney Research
Результаты впечатляют: вы можете сгенерировать тысячи лиц с разными формами и оттенками, а затем анимировать все их с одинаковыми выражениями без каких-либо дополнительных усилий. Подумайте, как это может привести к разнообразным толпам компьютерной графики, которые можно вызвать парой щелчков мышью, или к персонажам в играх с реалистичными выражениями лиц, независимо от того, были ли они созданы вручную или нет.
Это не серебряная пуля, и это лишь часть огромного набора улучшений, которые художники и инженеры делают в различных отраслях, где используется эта технология: отслеживание лица без маркеров, лучшая деформация кожи, реалистичные движения глаз и еще десятки областей, представляющих интерес. также важные части этого процесса.
Доклад Disney Research был представлен на Международной конференции по 3D Vision; вы можете прочитать здесь полностью.