Sous-sections

Réalité augmentée et réalité virtuelle



Participants : George Drettakis, Jean-Luc Douvillé, Jean-Dominique Gascuel,

Xavier Granier, Céline Loscos, Bruce Walter.

Mise en place d'une plateforme de réalité virtuelle



Participants : Jean-Luc Douvillé, Jean-Dominique Gascuel.

Dans le cadre de la construction de la seconde tranche de Bâtiments de l'INRIA Rhône-Alpes, une surface de 130m2 a été consacrée à l'installation d'une Plate-forme de Réalité Virtuelle. Ce projet devrait permettre de focaliser un certain nombre d'acteurs `` nouvelles technologies de l'information'' de la région Grenobloise.

Cette plate-forme se doit de répondre à une double attente :

Plate-forme graphique haute performance :

Le côté plate-forme graphique haute performance permet de tester en ``vraie grandeur'' des solutions techniques et algorithmiques qui ont certes peut-être vocation à passer à terme sur des machines plus petites, mais avec une avance technologique déterminante qui nous placera à la pointe pour la recherche et le transfert technologique. Cet aspect s'entend donc aussi pour des domaines de recherche et d'applications ``classiques'' de l'infographie, comme la simulation de l'éclairage, l'animation et la simulation de mouvement, etc.

Studio de réalité virtuelle et augmentée :
Ce dernier répond plutôt aux besoins d'applications plus récentes, voir émergentes. Si une bonne simulation de l'éclairage est sans doute nécessaire pour ces applications (design, maquettage virtuel, téléconférence, mélange d'images réelles et virtuelles, etc), elle ne saurait être suffisante : des problèmes durs (au sens scientifique du terme) doivent être traités : simulation sonore et intégration son/image, ombres portées entre monde virtuel et réel, interfaces -aussi bien ``hard'' (capteurs 6DOF), ``soft'' (menus, widgets 3D), que mixte (retour d'efforts)- simplification de scènes et traitement de données très complexes, etc.).

La plateforme en cours de montage tente de répondre à ces besoins, en combinant une machine graphique de forte puissance et un système de visualisation semi-immersif type grand écran. L'espace de 130m2 a été découpé afin de permettre l'installation d'une salle de projection (60m2) équipée pour l'image et le son, d'une régie audio-vidéo qui hébergera les serveurs informatiques, et de trois salles annexes (manips à retour d'effort, studio ``bleu'' (20m2), montage vidéo, etc.) pouvant être re-découpées afin d'avoir un deuxième grand équipement (WorkBench, CAVE) dans le même espace.

La salle de projection est prévue pour qu'une dizaine de participants puissent être accueillis. L'ensemble est spécialement étudié quant à l'isolation phonique (cloisons, surfaces horizontales), aux revêtements (son, lumière), à la climatisation, à l'éloignement maximal de toutes sources de champs électromagnétiques pouvant influencer des expériences utilisant la capture de mouvements. L'écran cylindrique (rayon 4m, hauteur 3m, 150° d'ouverture) permet une visualisation 3D, confortable pour un petit groupe. Pour alimenter ce système de projection, trois vidéo projecteurs stéréoscopiques avec un raccordement bien géré des images sont nécessaires. Des sources d'éclairage auxiliaires, des haut-parleurs complétés par des possibilités de son 3D, des lunettes permettant la vision du relief et des distances permettront de créer une ambiance autour de l'image projetée.

Un studio ``bleu'' (éclairage de scène, deux caméras instrumentées, boitiers de connections, une machine PSYset de GETRIS SA de traitement vidéo, écran bleu) permettra de filmer un ou deux personnages, et de les intégrer dans la scène virtuel 3D.

Il est bien sûr indispensable de prévoir une palette minimale de dispositifs propres à l'interaction en réalité virtuelle et augmentée : capteurs de positions/orientations (type Flock Of Bird), lunettes stéréos, bras à retour d'effort (type Phantom), casques (type Sony GlassTron), etc. Le serveur informatique prévu est du type SGI Onyx à 3 sorties graphiques, alimentant les trois vidéo projecteurs. Ce calculateur est capable, avec ses outils logiciels, de calculer et d'afficher des scènes hautement complexes en temps réel (25 à 120 images/s sur chaque canal). Cet ensemble offrira un champ d'applications et d'investigations suffisamment vaste qui nous fait repousser à un second temps (3/5 ans) la solution de type purement ``immersif''.

Réalité augmentée



Participants : George Drettakis, Xavier Granier, Céline Loscos, Bruce Walter.

Nous avons développé une méthode permettant le ré-éclairage, c'est-à-dire la modification virtuelle des propriétés l'éclairage, la remodélisation des scènes réelles d'intérieur, de façon interactive et en conservant les effets réalistes de l'éclairage mixte (réel et virtuel). Pour cette méthode, nous utilisons une procédure de capture simple (données non exhaustives, matériel peu coûteux et facilement contrôlable). La scène réelle est connue depuis plusieurs photographies prises sous des éclairages différents mais contrôlés. Une réflectance diffuse est estimée pour chaque pixel de l'image d'origine. L'éclairage est ensuite simulé en combinant une méthode de lancer de rayon pour l'éclairage direct, et une méthode de radiosité hiérarchique optimisée pour l'éclairage indirect. Cette méthode permet à la fois le ré-éclairage et la remodélisation interactive (supression d'objets réels). Un exemple de résultat est montré sur la figure 12.

Figure 12: (a) Photographie orginale d'une scène réelle. (b) Simulation de l'éclairage originale avec la réflectance estimée. L'image simulée est très ressemblante à la photographie. (c) Modification de la scène réelle en temps interactif en consrvant des effets d'éclairage réalistes : suppression de la porte (objet réel) en 3 secondes, ajout d'une chaise virtuelle en 2 secondes, ajout d'une lampe virtuelle en 7 secondes.
\begin{figure} \begin{center} \epsfxsize =5cm\epsfbox {FIGURES/SourceDoor.eps} ... ...DoorAddLight.eps}\end{center}\centerline {(a) \hfill (b) \hfill (c)}\end{figure}

Ce travail a été présenté au workshop Eurographics sur le rendu [29], et a fait l'objet de la thèse de Céline Loscos [4].

Sculpture virtuelle



Participants : Marie-Paule Cani, Jean-Dominique Gascuel, Eric Ferley.

La modélisation de formes très complexes, des modèles de visage utilisés pour les applications audiovisuelles aux carrosseries de voitures de l'industrie automobile, passe le plus souvent par le modelage de maquettes en terre glaise qui sont ensuite digitalisées. Une thèse co-financée par Renault SA vise à mettre au point un système de sculpture virtuelle partiellement immersif (casque de vision 3D et interface à retour d'effort). Dans la mesure où le mode d'interaction habituel de l'artiste est restitué, le modelage d'une glaise virtuelle apporte des avantages indéniables comme la possibilité d'opérations de couper-coller, la suppression des contraintes et déconvenues liées au séchage du matériau réel, et le fait de pouvoir remonter dans l'historique des déformations si les dernières modifications n'ont pas été satisfaisantes.

Le modèle déformable que nous utilisons est une isosurface d'un champ de potentiel (surface implicite) dont des valeurs discrètes, stoquées sur une grille spatiale, sont éditées au cours du temps par les outils manipulés par l'utilisateur. Ce modèle permet de concevoir facilement des formes de topologie et de géométrie arbitraires. Le prototype déjà développé [20], permet l'ajout et la suppression de matière, ainsi que l'application de déformations locales par déplacement de matière sous l'effet du contact avec un outil. La surface sculptée est visualisée en temps réel grâce à un ``marching cube'' incrémental. Enfin, le couplage de ce système avec un bras Phantom à retour d'effort est en cours.

Figure 13: Exemple de sculpture réalisée à l'aide de notre système de sculpture virtuelle.
\begin{figure} \begin{center} \epsfxsize =4cm\epsfbox {FIGURES/busteNombrilRecol... ...epsfxsize =3.4cm\epsfbox {FIGURES/busteDosRecolorie.eps}\end{center}\end{figure}


Simulateur de chirurgie



Participants : Marie-Paule Cani, Fabrice Neyret, Gilles Debunne, Franck Sénégas.

La création de maquettes 3D interactives destinées aux systèmes de réalité virtuelle pose un nouveau défi à l'animation de synthèse: au delà des exigences habituelles de réalisme visuel des déformations, de simplicité de contrôle, et d'efficacité des calculs, il s'agit maintenant d'assurer une réponse temps-réel de la maquette déformable, quelle que soit l'intensité et la nature des déformations que l'utilisateur lui fait subir. Une partie des problèmes à résoudre au sein de l'Action Incitative de l'INRIA Simulation de Chirurgie AISIM (voir 7.2) s'inscrit dans ce cadre. Ainsi, nous avons développé un modèle de foie virtuel qui se déforme en temps réel sous l'action des instruments manipulés par l'utilisateur. Le modèle utilisé est un modèle à couche, qui comprend :

Notre première contribution scientifique réside dans le modèle élastique adaptatif utilisé pour la première couche, qui fait l'objet de la thèse de Gilles Debunne et est développé en collaboration avec Mathieu Desbrun et Alan Barr de l'Université Caltech. Il s'agit d'un modèle de déformation par différences finies dont l´échantillonnage s'adapte automatiquement dans le temps comme dans l'espace, de manière à toujours concentrer la puissance de calcul là où elle est la plus nécessaire. Ce modèle repose sur une structure hiérarchique permettant de raffiner/regrouper de manière très efficace les points échantillonnant un sous-volume donné de l'objet. Ce travail a fait l'objet d'une publication au workshop d'Eurographics sur l'animation [16].

Figure 14: Simulation temps-réel des déformations du foie en réponse à la collision avec un instrument.
\begin{figure} \begin{center} \epsfxsize =6cm\epsfbox {FIGURES/foieDeform.eps}\epsfxsize =6cm\epsfbox {FIGURES/foieTrou.eps}\end{center}\end{figure}

D'autre part, nous avons mis au point, en collaboration avec Jean-Christophe Lombardo du projet EPIDAURE, une nouvelle technique de détection de collisions qui offre des performances temps-réel dans le cadre des interactions entre le foie et un instrument manipulé par l'utilisateur lors d'une simulation de chirurgie. Cette méthode, qui ne requière aucun pré-calcul, s'appuie sur la fonction de ``picking'' du hardware graphique pour renvoyer la liste des facettes de la scène (ici, la peau recouvrant le foie) intersectant un objet de forme simple (l'instrument de chirurgie virtuelle), qui est assimilé au ``volume de vision'' d'une caméra. Ce travail a fait l'objet d'une publication à la conférence Computer Animation'99 [28].

En ce qui concerne l'aspect de surface du foie, outre le plaquage sans distorsion de motifs de cellules (voir la partie 5.2), nous avons travaillé cette année sur l'aspect évolutif de cette surface en réaction aux actions des instruments manipulés par le chirurgien (contusions, blanchiment, cautérisation). Nous avons introduit une technique de sprites texturels controlés par automate, permettant de simuler efficacement des phénomènes qui 'vivent' à la surface. Nous avons utilisé cette technique pour simuler des épanchements de gouttes de sang capables de rouler à la surface sous l'action de la gravité puis de fusionner, en consommant une faible fraction de temps de calcul et de tracé afin de garantir le temps réel. Nous avons simulé les brulures de manière similaire, en prenant en compte le caractère évolutif de l'aspect de surface (d'une simple marque jaune à la carbonisation). Nous avons également simulé le blanchiment consécutif à une pression locale sur la surface, qui disparait progressivement après le relachement de la contrainte.

Ce projet de simulation de chirurgie se poursuit avec l'objectif de simuler maintenant les découpes de l'organe.

Figure 15: A gauche: les trois types d'aspect évolutif simulés (cautérisation, contusion, blanchiment). A droite: vue d'ensemble sur le foie.
\begin{figure} \begin{center} \epsfxsize =6cm\epsfbox{FIGURES/foie_effets.eps}\hfill \epsfxsize =6cm\epsfbox{FIGURES/foie_effets2.eps}\end{center}\end{figure}