Position optimale de caméras pour la reconstruction d'un animateur

Position optimale de caméras
pour la reconstruction d’un animateur

Introduction

Ce sujet de stage se place dans le cadre du projet CYBER-II.

Dans le contexte des applications de réalité augmentée, le but du projet Cyber-II est de simuler, en temps réel, la présence d'une personne (un présentateur de télévision, un professeur, etc.) dans un environnement virtuel. Cette simulation consiste principalement à mixer image réelle et virtuelle et à founir des interfaces permettant l'interaction entre la personne filmée, l'environnement virtuel, et l'observateur (par exemple un téléspectateur ou un élève).

Les principaux impératifs techniques sont une visualisation à la fois hautement réaliste (éclairage cohérent, ombrage, etc.) et fonctionnant en temps réel.

Le stage

Pour reconstruire un personnage en mouvement, il existe deux approches , l'une volumique, le voxel carving (Fig. 1) et l'autre surfacique (Fig. 2).


Fig 1 : Reconstruction par "voxel carving" (figure extraite de HLS04)

Fig 2 : reconstructions surfaciques (figure extraire de FMBR04)

Dans les deux approches, la position des caméras est vitale pour une bonne reconstruction. Le problème est de trouver le nombre optimal et la position optimale des caméras pour assurer la meilleure reconstruction possible, c-à-d celle qui minimise l'erreur. Pour cela, il faut formaliser le problème sous la forme de fonction à optimiser.

Remarque : une approche brutale ne donne pas forcément les meilleurs résultats, ainsi trouver la meilleur position de la caméra 1, la figer puis trouver la meilleure position de la caméra 2, la figer, etc. ne permet pas de trouver la solution opimale. La Fig. 3 montre un exemple en 2D de la reconstruction d'un carré avec 4 caméras. L'image de gauche est le résultat de l'approche séquentielle où l'on fige caméra après caméra et l'image de droite représente la solution optimale. Mais comment trouver cette solution ?

  
Fig. 3 : deux reconstruction avec 4 caméras d'un carré en 2D:
à gauche une approximation, à droite la solution exacte.

Encadrement

Bibliographie