No ano passado, um grupo de cientistas da computação alemães fez ondas ao demonstrar um novo algoritmo de computador que poderia transformar qualquer imagem digital em obras de arte, imitando os estilos pictóricos de mestres como Vincent van Gogh, Pablo Picasso e Edvard Munch. Apesar de ser um feito impressionante, aplicar a mesma técnica às imagens em movimento pareceu ultrajante na época. Mas agora, outro grupo de pesquisadores descobriu isso, produzindo obras-primas digitais com rapidez e sem interrupções, escreve Carl Engelking para a Discover .
Conteúdo Relacionado
- Este filme animado sobre Van Gogh é feito inteiramente de pinturas a óleo
- Esta Rede Neural Artificial Gera Linhas de Captura Absurdas
Em uma demonstração em vídeo, os programadores mostram as habilidades artísticas do seu algoritmo, transformando cenas de filmes e programas de televisão como Ice Age e Miss Marple em animações parecidas com pinturas com o clique de um mouse. Mas desenvolver o algoritmo não foi pouca coisa.
Para criar uma transformação tão detalhada, o cientista da computação Leon Gatys e seus colegas da Universidade de Tübingen desenvolveram um algoritmo de aprendizagem profunda que funciona com uma rede neural artificial. Ao imitar as maneiras pelas quais os neurônios no cérebro humano fazem conexões, esses sistemas de aprendizado de máquina podem executar tarefas muito mais complicadas do que qualquer laptop antigo.
Veja como funciona: quando você está vendo uma imagem de uma pintura ou assistindo a um filme em seu laptop, você está testemunhando seu computador decodificar as informações em um arquivo e apresentá-las da maneira apropriada. Mas quando essas imagens são processadas através de uma rede neural, o computador é capaz de pegar as diversas camadas de informações contidas nesses arquivos e separá-las, peça por peça.
Por exemplo, uma camada pode conter as informações para as cores básicas da Noite Estrelada de van Gogh, enquanto a próxima adiciona um pouco mais de detalhes e textura, e assim por diante, de acordo com a MIT Technology Review . O sistema pode então alterar cada camada individualmente antes de colocá-las de volta para criar uma imagem totalmente nova.
"Podemos manipular ambas as representações de forma independente para produzir imagens novas e perceptivas." Gatys escreveu em um estudo publicado no servidor arXiv de pré-impressão.
Ao aplicar esse sistema de aprendizado baseado em camadas a pinturas de Picasso e van Gogh, para citar alguns, os pesquisadores conseguiram desenvolver um algoritmo que “ensinava” o computador a interpretar todas essas informações de uma forma que separa o conteúdo de uma pintura de seu estilo. Uma vez entendido como Van Gogh usava pinceladas e cores, poderia aplicar esse estilo como um filtro do Photoshop a uma imagem e recriá-lo efetivamente em seu estilo icônico, escreveu Matt McFarland para o Washington Post . Mas aplicar essa técnica ao vídeo apresentou um novo conjunto de problemas.
"No passado, re-desenhar manualmente uma imagem em certo estilo artístico exigia um artista profissional e um longo tempo", escreveram Manuel Ruder e sua equipe da Universidade de Freiburg em seu novo estudo, também publicado no arXiv. “Fazer isso por uma seqüência de vídeos com apenas uma mão foi além da imaginação.”
Quando Ruder e seus colegas tentaram primeiro aplicar o algoritmo aos vídeos, o computador produziu gobbledygook. Por fim, eles perceberam que o programa estava tratando cada quadro do vídeo como uma imagem estática separada, o que fazia o vídeo piscar de forma irregular. Para superar essa questão, os pesquisadores colocaram restrições no algoritmo que impedia o computador de se desviar demais entre os quadros, escreve Engelking. Isso permitiu que o programa se estabelecesse e aplicasse um estilo consistente em todo o vídeo.
O algoritmo não é perfeito e muitas vezes tem dificuldade em lidar com movimentos maiores e mais rápidos. No entanto, isso ainda representa um importante passo em frente na forma como os computadores podem renderizar e alterar o vídeo. Embora esteja em seus estágios iniciais, algoritmos futuros poderão aplicar esse efeito a vídeos obtidos por meio de um aplicativo de smartphone ou até mesmo renderizar versões de realidade virtual de suas pinturas favoritas, os relatórios da MIT Technology Review .
A idéia de transformar o estilo de um artista em um conjunto de pontos de dados pode irritar algumas pessoas, mas também abre as portas para todos os novos tipos de arte nunca antes considerados possíveis.
