Holovision – Rayons X
Saison 1
Au printemps 2002 démarre la production d’une émission scientifique d’un genre nouveau, Rayons X. Pour la première fois en effet, cette émission sera présentée par des clones de personnages connus, et vivants, les frères bogdanov. D’emblée, une contrainte est évidente : il faudra que les clones ressemblent le plus possible à leurs modèles.
On décide alors d’utiliser les algorithmes de reconstruction mis au point par le département de recherche du cyberdôme.
On prend huit photos du visage en même temps, les appareils étant positionnés par groupe de 2 pour simuler la vision humaine. Chaque paire d’images est comparée pixel par pixel, et, à l’instar du cerveau, on en déduit une sorte de carte de relief, qui va permettre de construire un objet 3D représentant une partie du visage photographié.
Mais la structure des objets reconstruits est beaucoup trop complexe, le nombre de polygone trop important, pour être animée facilement. On va donc utiliser une tête générique plus simple, qui va être déformée en épousant le volume de la reconstruction.
La tête optimisée ainsi obtenue peut ensuite être animée avec des data-gloves, où chaque doigt déclenche une expression.
Saison 2
En 2003, l’émission est reconduite pour une deuxième saison, et on décide de changer la méthode d’animation du visage. S’inspirant de la reconstruction statique, on filme maintenant le visage avec 3 caméras synchronisées.
Sur chaque plan, on détermine les même points caractéristiques du visage, que l’on suit ensuite automatiquement sur toute la séquence. C’est ce qu’on appelle le tracking. En additionnant les différentes coordonnées image pour un même point, on est capable de calculer sa position dans l’espace.
On obtient un nuage de points en 3 dimensions qui se déforme dans le temps, reflet exact des expressions du visage de la personne filmée. De plus, à partir du mouvement global de ce nuage, on peut maintenant déduire les mouvements de la tête liés au discours.
Saison 3
En juin 2004, Rayons X prend une autre dimension, puisqu’en plus des émissions hebdomadaires de 2 minutes, sont programmées des émissions spéciales d’une heure et demi, enregistrées en public, et avec des invités scientifiques.
Une nouvelle amélioration de l’animation faciale est mise au point à cette occasion, basée sur les travaux de la saison 2. Il s’agit d’utiliser les flux vidéos comme textures, plaquées sur l’objet 3D déformé.
Une fois la vidéo stabilisée sur le visage en mouvement, le résultat est saisissant.
En une prise, on enregistre ainsi le son de la voix, les expressions faciales, les mouvements de la tête, et la texture de la peau.
Peut-être ne faudrait-il plus parler dans ce cas de motion-capture, mais de « total »-capture ?
