https://frosthead.com

Novo software pode realmente editar expressões faciais dos atores

Filmar uma cena em um filme pode exigir dezenas de takes, às vezes mais. Em Gone Girl, o diretor David Fincher foi dito em média 50 takes por cena. Para os atores da Rede Social, Rooney Mara e Jesse Eisenberg atuaram 99 vezes na cena de abertura (dirigida por Fincher novamente; aparentemente ele é notório por isso). The Shining, de Stanley Kubrick, envolveu 127 cenas da cena infame em que Wendy sobe as escadas balançando um taco de beisebol em Jack, considerado o maior lance por cena de qualquer filme da história.

Um novo software, da Disney Research em conjunto com a Universidade de Surrey, pode ajudar a reduzir o número de tomadas necessárias, economizando tempo e dinheiro. O FaceDirector combina imagens de várias tomadas, possibilitando editar emoções precisas nos rostos dos atores.

“Produzir um filme pode ser muito caro, por isso o objetivo deste projeto era tentar tornar o processo mais eficiente”, diz Derek Bradley, cientista da computação da Disney Research, em Zurique, que ajudou a desenvolver o software.

A Disney Research é um grupo internacional de laboratórios de pesquisa focados nos tipos de inovação que podem ser úteis para a Disney, com filiais em Los Angeles, Pittsburgh, Boston e Zurique. Projetos recentes incluem um robô para escalar paredes, um “livro de colorir de realidade aumentada” onde as crianças podem colorir uma imagem que se torna um personagem 3D em movimento em um aplicativo e um colete para crianças que fornece sensações como vibrações ou a sensação de gotas de chuva. cenas de contos de fadas. A equipe responsável pelo FaceDirector trabalhou no projeto por cerca de um ano, antes de apresentar sua pesquisa na Conferência Internacional sobre Visão Computacional em Santiago, Chile, em dezembro passado.

Descobrir como sincronizar diferentes tomadas era o principal objetivo do projeto e seu maior desafio. Os atores podem ter suas cabeças inclinadas em diferentes ângulos, de tom a tom, falar em tons diferentes ou pausar em momentos diferentes. Para resolver isso, a equipe criou um programa que analisa expressões faciais e sinais de áudio. As expressões faciais são rastreadas através do mapeamento dos pontos de referência faciais, como os cantos dos olhos e da boca. O programa determina quais quadros podem ser encaixados uns nos outros, como peças de quebra-cabeça. Cada peça do quebra-cabeça tem múltiplos parceiros, então um diretor ou editor pode decidir a melhor combinação para criar a expressão facial desejada.

Para criar material com o qual experimentar, a equipe trouxe um grupo de estudantes da Universidade de Artes de Zurique. Os alunos agiram em várias tomadas de um diálogo inventado, cada vez fazendo diferentes expressões faciais - feliz, irritado, animado e assim por diante. A equipe foi então capaz de usar o software para criar qualquer número de combinações de expressões faciais que transmitissem emoções mais sutis - tristes e um pouco zangadas, excitadas mas com medo, e assim por diante. Eles foram capazes de misturar vários takes - digamos, um medo e um neutro - para criar emoções em ascensão e queda.

A equipe do FaceDirector não sabe ao certo como ou quando o software pode ficar disponível comercialmente. O produto ainda funciona melhor quando usado com cenas filmadas enquanto está sentado na frente de um fundo estático. Movendo atores e movendo paisagens ao ar livre (acho balançando as árvores, passando carros) apresentam mais um desafio para a sincronização.

Novo software pode realmente editar expressões faciais dos atores