Google révolutionne la capture de personnes en 3D

Le nouveau système de capture volumétrique de Google

Le nouveau système de capture volumétrique de Google
Même les photographes et les vidéographes novices qui utilisent leurs appareils de poche pour prendre des photos ou faire des vidéos tiennent souvent compte de l'éclairage de leur sujet. L'éclairage est essentiel dans les environnements de cinéma, de jeu et de réalité virtuelle / augmentée et peut créer la qualité d'une scène, de ses acteurs et de ses interprètes. La reproduction d'un éclairage de personnage réaliste est restée un défi difficile en infographie et en vision par ordinateur.

 

Bien que des progrès significatifs aient été réalisés sur les systèmes de capture volumétrique, en se concentrant sur la reconstruction géométrique 3D avec des textures haute résolution, telles que des méthodes permettant d'obtenir des formes et des textures réalistes du visage humain, beaucoup moins de travail a été accompli pour récupérer les propriétés photométriques nécessaires aux caractères d’éclairage. Les résultats de tels systèmes manquent de détails fins et les ombres du sujet sont précuites dans la texture.


Les informaticiens de Google révolutionnent ce domaine de la technologie de capture volumétrique avec un nouveau système complet capable, pour la première fois, de capturer la réflectance totale du corps des performances humaines en 3D et de les intégrer de manière transparente au monde réel, par scènes numériques dans des films, des jeux, etc. Google présentera son nouveau système, appelé The Relightables, à ACM SIGGRAPH Asia, tenu du 17 au 20 novembre à Brisbane, en Australie.

SIGGRAPH Asia, qui existe depuis 12 ans, attire les techniciens et créateurs les plus respectés du monde entier dans les domaines de l'infographie, de l'animation, de l'interactivité, des jeux et des technologies émergentes.


Des progrès majeurs ont été réalisés dans ce domaine de travail que l’industrie appelle les systèmes de capture 3D. Grâce à ces systèmes sophistiqués, les téléspectateurs ont pu expérimenter des personnages numériques prenant vie sur grand écran, par exemple dans des blockbusters tels que Avatar et la série Avengers.


En effet, la technologie de capture volumétrique a atteint un niveau de qualité élevé, mais beaucoup de ces reconstructions manquent encore de véritable photoréalisme. En particulier, malgré ces systèmes utilisant des installations de studio haut de gamme avec des écrans verts, ils ont toujours du mal à capturer les détails haute fréquence des humains et ne récupèrent qu’une condition d’éclairage fixe. Cela rend ces systèmes de capture volumétrique impropres au rendu photoréaliste d'acteurs ou d'interprètes dans des scènes arbitraires sous différentes conditions d'éclairage.


Le système Google Relightables permet de personnaliser l'éclairage des personnages en temps réel ou de le rallumer dans une scène ou un environnement donné.


Il capture environ 65 Go par seconde de données brutes provenant de près de 100 caméras et son infrastructure informatique permet un traitement efficace des données à cette échelle.