Os olhos são o espelho da alma, mas literalmente refletem aquilo que está à nossa frente. Uma equipa de investigadores da Universidade de Maryland estão transformar os reflexos dos olhos em cenas 3D relativamente percetíveis.
O trabalho da Universidade de Maryland baseia-se em Neural Radiance Fields (NeRF), uma tecnologia de inteligência artificial que pode reconstruir ambientes a partir de fotos 2D. Embora a abordagem de reflexo ocular tenha um longo caminho a percorrer antes de gerar qualquer aplicação prática, o estudo dá uma ideia fascinante da tecnologia que pode eventualmente revelar um ambiente a partir de uma série de fotos simples de retratos.
A equipa usou reflexos subtis de luz capturados em olhos humanos, com recursos a imagens consecutivas tiradas de um único sensor, para tentar discernir o ambiente imediato da pessoa.
O reflexo dos olhos tem um limite
Começaram com várias imagens de alta resolução de uma posição fixa da câmara, capturando uma pessoa em movimento a olhar para a câmara. Depois ampliaram os reflexos, isolando-os e calculando para onde os olhos estavam a olhar nas fotos.
Os resultados mostram uma reconstrução do ambiente, relativamente discernível de olhos humanos num ambiente controlado. Contudo, uma tentativa de modelar os reflexos dos olhos dos videoclipes de Miley Cyrus e Lady Gaga reproduziu apenas bolhas vagas apontadas como a grade de LED e uma câmara num tripé, ilustrando o quão longe a tecnologia está do uso no mundo real.
A equipa superou obstáculos significativos para reconstruir até mesmo cenas toscas e confusas. Por exemplo, a córnea introduz “ruído inerente” que torna difícil separar a luz refletida das complexas texturas da íris dos humanos. Para resolver isso, introduziram a otimização da pose da córnea (estimando a sua posição e orientação) e a decomposição da textura da íris (extraindo recursos exclusivos da íris de um indivíduo) durante o processo de desenvolvimento e aprendizagem.
Por fim, a perda de regularização de textura radial, uma técnica machine learning que simula texturas mais suaves do que o material de origem, ajudou a isolar e aprimorar ainda mais o cenário refletido.
Apesar do progresso, ainda existem barreiras significativas.
Os nossos resultados atuais do mundo real são de uma “configuração de laboratório”, como uma captura com zoom do rosto de uma pessoa, luzes para iluminar a cena e o movimento deliberado da pessoa.
Acreditamos que configurações com menos restrições continuam desafiadoras devido à menor resolução do sensor, faixa dinâmica e desfoque de movimento.
Referiu a equipa de desenvolvimento.
Além disso, é referido pelos investigadores que suas suposições universais sobre a textura da íris podem ser muito simplistas para serem aplicadas de forma ampla, especialmente quando os olhos giram mais do que nesse tipo de configuração controlada. Ainda assim, o futuro parece ser promissor.