Ferramenta usa fotos de pontos turísticos para criar imagens 4D

Pesquisadores da Cornell Tech, em Nova Iorque, publicaram um estudo denominado “Crowdsampling the Plenoptic Function”, que foi apresentado durante a European Conference on Computer Vision, realizada virtualmente de 23 a 28 de agosto, onde demonstraram imagens em 4D de alguns dos pontos turísticos mais famosos do mundo. As imagens em 4D possuem profundidade 3D e apresentam variações visuais de acordo com a variação do tempo.

Função plenótica

Para conseguir dar o efeito 4D nas imagens, os pesquisadores usam a abordagem da função plenótica, que é a ação de descrever a aparência de algo de todos os pontos de vista possíveis no espaço e no tempo. Isso seria alcançado de maneira mais cômoda se eles pusessem centenas de câmeras fixadas ao redor de uma cena, gravando as variações de imagem dia e noite. Contudo, esta solução não seria nada prática (nem barata).

Por isso, os pesquisadores se inspiraram uma em técnica de animação criada pelos Estúdios Walt Disney, na década de 1930, que sobrepunha camadas de transparências para criar um efeito 3D sem redesenhar todos os objetos de uma cena. A diferença é que, agora, a técnica foi aplicada em fotos reais, ao invés de desenhos.

Essa nova representação de cena para interpolar a aparência em quatro dimensões recebeu o nome de “Deep Multiplane Images”.

Usando imagens disponíveis publicamente

Para criar as imagens em 4D, os pesquisadores precisariam sobrepor milhares de imagens de uma mesma cena para criar apenas uma com quatro dimensões. Para isso, eles utilizaram as imagens de pontos turísticos publicamente disponíveis em sites como o Flickr e o Instagram.

Por meios de técnicas de deep learning, foi possível catalogar dezenas de milhares de fotografias tiradas por turistas, para criar imagens finais que podem ser visualizadas de diferentes pontos de vista, e em diferentes horários do dia, como se estivéssemos vendo o monumento pessoalmente.

O estudo foi parcialmente financiado pelo filantropo Eric Schmidt, ex-CEO da Google, e sua esposa.