Projet Syntim

Précédent : Grands domaines d'application Remonter : Projet SYNTIM, Analyse Synthèse d'Images Suivant : Actions industrielles

• Animation de vêtements
• Fusion d'objets 3D
• Modélisation à partir d'images
• Construction de courbes squelettes associées à un nuage de points
• Indexation d'images
• Poursuite d'objets dans les séquences d'images
• Reconstruction tridimensionnelle et géométrie différentielle en vision stéréoscopique
• Les réseaux de communication dans les images SPOT
• Optimisation de Méthodes de Rendu Réaliste
• Analyse-synthèse de mouvements particulaires

Résultats nouveaux

Animation de vêtements

Participants : Xavier Provot , Jérémy Denise , Anne Verroust


Mots-clés : animation, simulation, système masses-ressorts, collisions

Résumé : Notre but est de réaliser un modèle informatique de simulation et d'animation des vêtements. Il comprend notamment la mise au point :

• de modèles mécaniques de comportement des tissus ;
• de méthodes de gestion des collisions du vêtement avec lui-même ou avec d'autres objets ;
• de méthodes de découpe et d'assemblage permettant de construire un vêtement sur un mannequin virtuel.

Les applications d'une telle étude concernent l'industrie du vêtement, pour l'aide à la conception de prototypes de prêt-à-porter, et l'industrie de la production d'images de synthèse (modeleurs).

Ce travail se situe dans la continuation de nos travaux précédents. Durant l'année 1997, nous avons approfondi l'étude des méthodes de gestion des collisions, appliquées aux surfaces déformables telles que les vêtements. Nous avons ainsi mis au point un algorithme optimisé et rapide de détection des collisions, et une méthode de calcul de la réponse aux collisions [21,22]. Cette dernière améliore considérablement la robustesse des calculs de réponse aux collisions classiques et évite toute interpénétration du vêtement avec lui-même, ou avec d'autres objets (cf. figure ).

  Figure:  Collision d'un ruban.

Nous avons mis au point une méthode de découpe d'une pièce de contour quelconque dans un maillage régulier dont la structure respecte le comportement interne des tissus. Notre modèle a été appliqué à des patrons réels fournis par LECTRA SYSTEMES, entreprise spécialisée dans la C.A.O. de découpe de vêtements.

  Figure:  Construction de vêtements à partir de patrons réels.

Nous avons ensuite construit une méthode d'assemblage de ces patrons autour d'un mannequin virtuel afin de réaliser les vêtements correspondants (cf. figure ). Ces travaux servent maintenant de base au contrat européens MtoM3D. Ils sont décrits en détail dans la thèse de Xavier Provot [11].

Plus récemment, nous avons étudié de manière détaillée différentes méthodes d'intégration de notre modèle mécanique de comportement des tissus. Cette comparaison nous a permis de choisir la méthode la plus efficace et la mieux adaptée à notre problème.

Fusion d'objets 3D

Participants : Youichi Horry , André Gagalowicz


Mots-clés : modélisation géométrique, déformation, animation

Résumé : Une technique de modélisation-animation d'objets par fusion de deux objets a été développée. Elle généralise l'approche proposée par Philippe Decaudin (cf. rapport d'activités 1996).

Nous avons développé une nouvelle technique de composition de deux objets tridimensionnels: à partir de ces deux objets, un nouvel objet d'aspect lisse et les contenant est créé, comme le montre la figure . Le volume de l'objet résultant est égal à la somme des volumes des deux objets initiaux. L'avantage de cette méthode est qu'elle peut s'appliquer à des objets polyédriques de topologie quelconque. En animant les objets durant la fusion, on obtient un effet visuel de type ``pâte à modeler'' sur la séquence résultante.

  Figure:  Un exemple de fusion : à gauche, les objets initiaux (un homme et un tore) et à droite le résultat de la fusion.

Modélisation à partir d'images

Participants : Marcel Bosc , Anne Verroust


Mots-clés : modélisation contrainte image, recalage interactif de modèle 3D

Résumé : Nous souhaitons développer des techniques de modélisation géométrique 3D interactives qui permettent de construire des objets 3D à partir d'images ``supports''.

Après une réflexion et des études bibliographiques autour de techniques de vision pouvant produire des informations 2D et 3D pour un système de modélisation 3D, et une réflexion sur leur intégration dans un cadre commun, nous avons implémenté une interface graphique gérant la partie 2D de l'interaction utilisateur. Ensuite nous avons créé une structure logiciel pour la gestion des objets 3D . Nous avons mis au point, dans le cadre de ce logiciel, un système générique de détermination de pose utilisant un module de minimisation sous contraintes. puis , dans ce même cadre, nous avons réimplémenté la méthode "photogrammétrique" proposée par Debevec mais généralisée à des polyèdres paramétrés quelconques.

Nous pensons utiliser ce système comme base de réflexion et d'expérimentation pour la modélisation d'objets plus complexes, l'incorporation d'informations générées par des modules de vision, et l'utilisation éventuelle de séquences d'images.

Construction de courbes squelettes associées à un nuage de points

Participant : Anne Verroust


Mots-clés : courbe squelette, cylindres généralisés, reconstruction

Résumé : Une méthode de construction de courbes squelettes à partir d'un ensemble de points 3D répartis sur la surface d'un objet a été étudiée. Ces courbes sont utiles dans les approches de reconstruction d'objets par cylindres généralisés.

  Figure:   Un arbre de courbes squelettes associé à une ramification de vaisseaux sanguins

Dans la continuation des travaux présentés sur la construction de courbes squelette, courbes permettant de guider la métamorphose entre deux objets polyédriques [12], nous nous sommes intéressés, en collaboration avec Francis Lazarus actuellement au laboratoire I.R.C.O.M.-S.I.C. de l'Université de Poitiers, au problème de la construction de courbes squelette associées à une surface décrite par un nuage de points [28]. Ces courbes permettent d'obtenir une approximation cylindrique de la surface de l'objet.

A partir d'un ensemble de points 3D, l'algorithme fournit un ensemble de courbes structurées sous forme d'arbre. La sélection préalable d'un des points permet de définir la racine de l'arbre. Un graphe de voisinage construit sur l'ensemble des points est utilisé pour calculer les distances géodésiques entre le point racine et les autres points. Des ensembles de niveaux connexes sur la carte de distance sont extraits et structurés sous forme d'arbre. Les courbes squelettes sont alors construites à partir des centres de ces niveaux.

Cette technique est particulièrement adaptée pour suivre les vaisseaux sanguins, comme le montre la figure .

Indexation d'images

Participants : Chahab Nastar , Matthias Mitschke , Haico Ten Lohuis


Mots-clés : Bases de données images, Indexation par le contenu, Extraction de caractéristiques, Mesure de similarité, Contrôle de pertinence

Résumé : Nous nous intéressons à l'indexation d'images et à la navigation intelligente dans les bases d'images. Il s'agit de développer des outils permettant de sélectionner les images les plus pertinentes par leur contenu, comme c'est le cas pour les systèmes de recherche d'information (voir l'état de l'art dans [20]).

Une approche précédente nous avait permis d'indexer efficacement une base de visages. La technique proposée est fondée sur la modélisation de la surface d'intensité lumineuse de l'image par une nappe déformable. La signature d'image est formée par les coefficients spectraux de l'énergie de déformation de la surface vers une surface de référence. Nous obtenons l'invariance aux variations typiques des visages (expression, occultation, changement d'illumination, changement de pose). Cette méthode a donné d'excellents résultats (taux de reconnaissance de 97%) sur une base de 7562 visages [14].

Plus récemment, nous avons élaboré une alternative à l'approche précédente, empruntée à la géométrie différentielle. Nous caractérisons la surface d'intensité lumineuse par une combinaison des courbures principales en chaque point. La distribution de cette combinaison de courbures fournit un histogramme, le spectre de forme, qui a de bonnes propriétés d'invariance à la translation, à la rotation et surtout, au changement d'échelle [27]. La figure illustre cette méthode.

   Figure: Le spectre de forme présente de bonnes propriétés d'invariance à la rotation et au changement d'échelle de l'image.

Pour améliorer les performances de notre moteur de recherche d'images, nous nous intéressons à la combinaison de différentes signatures d'images. Nous avons testé en particulier la combinaison de signatures simples pour proposer un système temps-réel d'identification de visages [25]. Ce système s'appuie sur le logiciel Pfinder de suivi temps-réel de silhouettes, grâcieusement mis à disposition par le MIT. Une personne se présente devant la caméra. La silhouette de la personne est segmentée et poursuivie dans la séquence par Pfinder. La région du visage est évaluée pour chaque image de la séquence et des signatures sont calculées au vol pour ces régions. Ces signatures sont ensuite combinées et comparées à celles d'une base d'images préexistante. Les visages les plus similaires sont retrouvés, et un algorithme de vote permet d'identifier le visage qui se trouve devant la caméra (figure ).

   Figure: Identification temps-réel du visage : le système s'appuie sur une détection grossière, une combinaison de signatures d'images et une comparaison avec la base d'images dont il dispose.

Enfin, la flexibilité des systèmes de recherche est l'une des préoccupations importantes de nos recherches. Il s'agit, en particulier dans le cadre d'applications ``grand public'', de conférer au système la capacité de s'adapter à l'utilisateur, qui peut ainsi affiner sa recherche. Un processus de contrôle de pertinence original a fourni d'excellents résultats [26]. La figure illustre cette méthode.

   Figure: La mise en oeuvre d'une technique de contrôle de pertinence (en haut) permet de retrouver d'autres portraits dans la base de tableaux de grands maîtres (en bas).

Poursuite d'objets dans les séquences d'images

Participants : Christophe Meilhac , Chahab Nastar


Mots-clés : Séquences d'images, Recalage 3D/2D, Poursuite robuste, Estimation d'erreurs

Résumé : Nous présentons un algorithme robuste et précis pour la poursuite d'objets dans les séquences d'images, lorsque le modèle géométrique de l'objet est connu.

Nous présentons un algorithme interactif robuste et précis pour le recalage et la poursuite d'un modèle géométrique 3D dans une séquence d'images 2D. L'algorithme est une généralisation de la technique du ``point le plus proche itératif''.

Chaque itération se fait en deux étapes : calcul des paramètres de la caméra, et mise en correspondance 3D/2D des sommets de l'objet (supposé être polyédrique). La première étape constitue une phase de calibration interactive. La seconde est effectuée par un ajustement de polynôme dans une image de contours.

Pour tenir compte des mises en correspondance erronées, nous utilisons une M-estimation robuste aussi bien pour l'estimation des paramètres de la caméra que pour l'extraction des caractéristiques 2D.

Les résultats expérimentaux montrent qu'un recalage précis peut être obtenu même dans les images bruitées présentant des objets occultés (figure ). Une analyse d'erreur prouve que la précision obtenue est de l'ordre du pixel [17,18,19].

   Figure: Poursuite dans la séquence ``annuaire'' (280 images). Le modèle géométrique 3D projeté dans l'image 2D est représenté en fils de fer.

Reconstruction tridimensionnelle et géométrie différentielle en vision stéréoscopique

Participants : Richard Lengagne , Olivier Monga


Mots-clés : reconstruction tridimensionnelle, géométrie différentielle

Résumé : Nous proposons une technique de reconstruction tridimensionnelle de surface à partir d'une paire stéréo d'images calibrées basée sur la déformation d'un maillage de la surface et permettant d'incorporer une connaissance a priori sur les propriétés différentielles des objets.

La plupart des algorithmes de reconstruction tridimensionnelle de surfaces basés sur la corrélation échouent en présence de discontinuités, qu'elles soient d'ordre 0 dans la dérivation des surfaces (discontinuités de profondeur) ou d'ordre supérieur (discontinuités de normales ou de courbure), ainsi que dans certaines zones peu texturées ou acquises dans de mauvaises conditions d'illumination. La raison majeure est que l'information contenue dans les images peut s'avérer insuffisante pour reconstruire ces régions avec précision. Par conséquent, nous proposons de guider la reconstruction tridimensionnelle par des informations sur la géométrie différentielle de la surface. Notre méthode de reconstruction est basée sur la déformation d'une triangulation de la surface par minimisation d'une fonctionnelle énergie incorporant un terme stéréo (assurant la cohérence du modèle avec les données images) et un terme de lissage (garantissant la régularité de la solution). Le maillage initial est obtenu à partir d'une carte de profondeur issue d'un algorithme de corrélation. Dans le meilleur des cas, lorsque l'information image permet de déduire des propriétés différentielles assez fiables (courbures, directions de courbure, lignes de crête), nous générons un maillage adaptatif de la surface gouverné par ces propriétés. Cette technique génère de nombreuses facettes dans les zones de forte courbure et peu de facettes dans les régions plus plates. Elle garantit donc l'obtention d'un modèle compact et précis dans les régions significatives de l'objet. Dans les cas où l'information image est insuffisante, il est nécessaire de guider le processus de reconstruction par une connaissance a priori sur les propriétés différentielles de l'objet. Ceci entre alors dans le cadre d'une reconstruction interactive où un utilisateur spécifie, en fonction de son degré de connaissances sur la géométrie de l'objet, des contraintes en certaines régions de l'objet (``Cette région est sphérique'', `` Il existe une ligne de crête à cet endroit''), qui sont ensuite traduites mathématiquement en termes de dérivées partielles de la surface, et utilisées enfin dans un processus d'optimisation sous contraintes.

  Figure: Haut: une paire stéréo d'un visage et un rendu du maillage initial obtenu par triangulation uniforme de la carte de profondeur(430 sommets). Bas: le maillage adaptatif (421 sommets) et la reconstruction finale du visage.

Les réseaux de communication dans les images SPOT

Participants : Véronique Prinet , Cinthia Montfort , Olivier Monga


Mots-clés : géométrie différentielle, groupement perceptuel, image satellite

Résumé : Nous proposons une technique d'extraction de réseaux dans les images SPOT fondée sur l'utilisation des propriétés différentielles de la surface d'intensité.

Ce travail s'effectue dans le cadre d'un contrat avec le CNES. Nous avons poursuivi la mise en place d'une approche originale pour la détection et représentation des réseaux dans les images SPOT. La détection locale est fondée sur le calcul des caractéristiques différentielles d'ordre deux et trois de la surface-image. Nous pouvons montrer, à partir de modèles mathématiques simples de ligne, que les points de crêtes (ou, extrema locaux de la courbure maximale) localisent la ligne centrale du réseau. Ces caractéristiques locales sont alors interprétées et organisées sous forme de réseaux avec détection des intersections, en se servant des directions maximales précédemment extraites. La figure illustre le résultat de la détection du réseau (lignes en blanc).

  Figure:  Extraction des réseaux (fleuve et routes) d'une image SPOT

Optimisation de Méthodes de Rendu Réaliste

Participants : Samuel Boivin , André Gagalowicz


Mots-clés : rendu, radiosité

Résumé : Notre projet s'intéresse à la création d'images de synthèse photo-réalistes, à partir de scènes réelles prises depuis une caméra. Ici, notre objectif précis est donc de retrouver les paramètres de réflectance de surfaces 3D, préalablement mises en correspondance avec l'image 2D réelle, par des algorithmes d'analyse d'image. Depuis ces données, il nous faut re-synthéthiser l'image en itérant sur les paramètres de réflectance d'une part, tout en calculant l'image finale par radiosité et lancer de rayons d'autre part. Ainsi, nous avons réécrit un logiciel de rendu réaliste rapide et plus adapté à notre problématique que le précédent.

Notre précédent logiciel était en mesure d'effectuer le rendu d'une scène 3D de façon photo-réaliste. Malheureusement, les temps de calcul prohibitifs qu'il nécessitait, le rendait particulièrement impropre à nos méthodes de recherche itérative des paramètres de réflectance.

Nous avons donc développé, depuis le mois de janvier, un nouveau logiciel, plus rapide mais gardant un photo-réalisme maximum. Nous l'avons implanté spécialement pour le processeur R10000 des Silicon Graphics: notre charge de calcul se trouvant sur l'estimation des facteurs de forme, nous utilisons donc un hémicube avec notre propre méthode optimale de calcul des facteurs de visibilité. Cette technique, bien que théoriquement moins rapide en calcul pur par rapport à la méthode matérielle des Silicon Graphics, se révèle en fait plus performante. Notre programme est ainsi environ trois fois plus rapide que la version matérielle. De plus, il devient facilement parallélisable : une version est en cours de développement sur le supercalculateur Silicon Graphics Origin 2000 du Centre de Calcul Charles Hermite(64 R10000).

Ainsi, notre logiciel est désormais en mesure de calculer des scènes de très grande taille et rapidement, tout en conservant un très grand réalisme visuel. Ceci va nous permettre de développer la partie ``recherche de paramètres de réflectance'' sans craindre de trop longs temps de calcul.

Analyse-synthèse de mouvements particulaires

Participants : Jean Louchet , André Gagalowicz


Mots-clés : systèmes de particules, animation, algorithmes génétiques

Résumé : Les modèles masses-liaisons sont la base d'une technique de modélisation du mouvement et des objets déformables pour la synthèse d'images. Nous étudions comment il est possible de construire automatiquement de tels modèles à partir d'images issues du monde réel.

Les systèmes de particules, très utilisés en synthèse d'images pour la modélisation d'objets déformables en mouvement (fluides, objets élastiques...), utilisent des assemblages de masses ponctuelles et de liaisons (éventuellement non-linéaires, dissipatives, conditionnelles...). Cette technique butait jusqu'ici sur le problème de la construction qui restait manuelle, empirique et peu fiable; nous avons développé à cet effet une technique d'optimisation par stratégie d'évolution, et l'avons validée théoriquement ainsi que sur des exemples-types (voir RA96).

Cette activité est menée en étroite coopération avec l'ENSTA, et avec l'INPG/Clips-Acroe dont nous nous inspirons du formalisme "Anima" [13]. L'année 97 a permis d'améliorer l'interface utilisateur et d'aborder de nouveaux champs d'application, comme celui de la modélisation de la démarche équine, ainsi que le problème de la génération de comportements autonomes et de modes de propulsion.

Précédent : Grands domaines d'application Remonter : Projet SYNTIM, Analyse Synthèse d'Images Suivant : Actions industrielles