Fondements scientifiques

Modélisation, segmentation et représentation d'objets vidéo

Mots-clés : segmentation, analyse de mouvement, suivi temporel, modèles déformables, maillages actifs, contours actifs, géométrie projective, théorie MDL, mosaïque vidéo, VOP, MPEG-4, réalité augmentée

Résumé : Les bases méthodologiques essentielles de cet axe scientifique concernent les outils de segmentation objets basés mouvement (par estimation/segmentation conjointe sur la base de modèles polynomiaux de mouvement). Ceux-ci sont définis sous contraintes entropiques de compacité de la représentation globale (forme, mouvement, texture) produite, de compatibilité par rapport à des standards (par exemple, le VM MPEG-4) ou de qualité de la décomposition en objets à des fins de post-traitement (fonctionnalités de post-production vidéo, couplage avec l'indexation vidéo,..)

Dès qu'une communication d'images orientée objets vidéo est envisagée, une phase préalable d'analyse de la séquence vidéo est nécessaire. Dans ce cadre, la phase algorithmique essentielle initiale demeure la tâche de segmentation d'objets vidéo, interdépendante avec la tâche de mesure d'attributs (mouvement, texture, ...).

Nous nous appuierons pour ce faire, en liaison avec le projet VISTA, sur les travaux algorithmiques antérieurs du projet TEMIS proposant plusieurs outils complémentaires de segmentation/estimation de mouvement à l'aide de modèles paramétriques de mouvement (affines bien souvent).
Base scientifique : analyse du mouvement [TL94], segmentation/estimation conjointe, estimation robuste, modélisation statistique avec régularisation, optimisation par techniques de gradient et relaxation déterministe.

Sur la base de ces outils d'analyse du mouvement, les cartes de segmentation générées doivent posséder également de bonnes propriétés en terme:

de prise en compte d'autres caractéristiques complémentaires au mouvement telles la forme ou la texture;
Base scientifique: segmentation hybride (texturelle/mouvement), opérateurs morphologiques [STMG95].
de cohérence temporelle par introduction de contraintes de filtrage temporel;
Base scientifique: trajectoires d'objets multiples par filtrage de Kalman, interpolation temporelle basée mouvement et trajectoire, gestion des zones de découvrement ou recouvrement temporel d'objets.
de représentation compacte. En effet la segmentation produite doit réaliser un compromis optimal entre une finesse de représentation et un cout limité de codage de celle-ci;
Base scientifique : approximations géométriques de courbes, représentation MDL (``Minimum Description Length") basée sur la théorie de l'information[ZB95], codage statistique et apprentissage.
de scalabilité (voir paragraphe suivant également); il s'agit dans ce cadre de fournir non pas une grille de partitionnement en objets mais une hiérarchie de cartes de segmentation;
Base scientifique: approche descendante par découpage hiérarchique de régions, approche ascendante avec relaxation et pile d'instabilité par fusions (tests de vraisemblance, approche MDL, métrique sur les attributs de mouvement, critère basé compensation de mouvement ou compacité de la représentation).
enfin, de compatibilité avec des représentations de plus haut niveau;
Base scientifique: maillages actifs [Dud96], reconstruction 3D par géométrie projective [Mor93].

Scalabilité et sélectivité

Mots-clés : scalabilité, progressivité, ondelettes, échantillonnage irrégulier, quantification, triangulation, maillages hiérarchiques

Résumé : La notion de scalabilité - anglicisme désignant une structuration multiéchelle des données - apparaît désormais comme incontournable pour représenter et communiquer efficacement des images [SP96]. Elle fait cohabiter une généricité de la représentation des données et une flexibilité dans les services de communication visés (communication multicast, réseaux à caractéristiques variables et hétérogènes).

La notion de scalabilité se décline selon plusieurs aspects complémentaires :

la scalabilité des objets : les techniques de segmentation spatiotemporelle hiérarchique évoquées au paragraphe précédent conduisent naturellement à une représentation multiéchelle des objets segmentés ;
Base scientifique : cartes de segmentation topologiquement emboîtées.
la scalabilité spatiale : la découpe ordonnée en objets situés à des profondeurs distinctes (segmentation ``multilayers'') est également un mode aisé de structuration des primitives visuelles extraites de la projection image d'une scène tridimensionnelle ;
Base scientifique : géométrie projective et obtention de cartes de profondeur relative sur séquences non calibrées. [Bou94]
la scalabilité temporelle [TA94] : par extension de la notion de GOP (Group Of Pictures) classique dans le cadre MPEG qui structure le flux vidéo en trames IBP, des modes étendus de découpe temporelle sont à définir ;
Base scientifique: interpolation temporelle basée trajectoires d'objets.
la scalabilité de représentation : ceci concerne la représentation d'une source numérique unique des données issues des images en un ensemble ordonné de sources numériques emboîtées permettant la restitution partielle ou progressive des images. D'un point de vue du flux binaire, ceci se traduit par un ensemble de flux élémentaires à concaténer ;
Base scientifique : décompositiom EZT [Sha93], paquets d'ondelettes, quantification vectorielle arborescente, représentations multiples hybrides et hiérarchiques.
la scalabilité au niveau réseau : les réseaux de communication actuels ne raisonnent plus uniquement sur un niveau unique de ressources (débit/distorsion) mais sur une hiérarchie de niveaux de communication accessibles selon la demande (priorité de service) ou la disponibilité du réseau (lois de débits, engorgement, ...). Ces phases de modélisation sont à introduire pour contrôler l'interface source-réseau ;
la scalabilité au niveau réception [MJV96]: ce niveau inclut les contraintes venant de la machine cible (puissance de traitement disponible, qualité du restituteur), des conditions de service visé (gamme de qualité, droit d'accès, temps alloué, ...) et de l'usage final de la communication réalisée (nature des post-traitements). Ces contraintes peuvent être extrêmement hétérogènes (diffusion multicast). Les qualités de service attendues doivent être modélisées et introduites, comme contraintes externes et objectifs scalables en terme de distorsion. Comme ci-dessus pour une hiérarchie de débits, il est possible ici d'introduire une hiérarchie de distorsions admissibles prenant en compte éventuellement l'aspect de sélectivité des objets résumé ci-après.

En effet, il convient d'adjoindre à cette décomposition multiéchelle des données vidéo, une notion de sélectivité. Contrairement aux cadres standards de compression (JPEG, MPEG) qui s'adressent à des services multimédia de communication non dédiés et qui fournissent donc une qualité de reconstruction homogène sans sélectivité (si ce n'est la sélectivité en fréquences par quantification adaptée des différents coefficients fréquentiels issus d'une décomposition DCT), il apparaît de plus en plus souhaitable, pour d'autres services de communication (télémédecine, imagerie satellitaire, vidéosurveillance, robotique mobile) de modéliser et d'introduire les connaissances a-priori dans l'algorithmique de représentation/compression. Cette sélectivité est définie à partir de modèles perceptuels ou est guidée par l'application et le contenu de scènes. La sélectivité s'exprime alors par une hiérarchisation de l'information tant spatiotemporelle (basée mouvement ou objets) que fréquentielle (basée lois de sensibilité en fréquences).
Base scientifique : décomposition ondelettes, segmentation et projection, quantification optimale (scalaire ou vectorielle), échantillonnage irrégulier [RR95], maillages hiérarchiques.

Précédent : Présentation générale et objectifs Remonter : Projet TEMICS, TraitEment, Modélisation d'Images Suivant : Grands domaines d'application