Présentation générale et objectifs

Présentation générale

Mots-clés : Temics, vidéocommunications, séquence d'images, codage, multimédia, télévision numérique, vidéosurveillance, réalité augmentée, réseaux, internet

Résumé : Le contexte applicatif de la communication d'images a pris un envol considérable ces dernières années en liaison avec la diffusion massive d'images (images fixes numérisées, communication visuelle, télévision numérique et HDTV, vidéocommunications) tant dans les domaines professionnel que domestique ou éducatif.

Les difficultés méthodologiques ou matérielles rencontrées lors de l'exploration de ce domaine applicatif ont quelque peu évolué récemment. Il y a encore quelques années, le problème majeur résidait en la limitation extrême de la bande passante disponible pour la communication de tels signaux ainsi que le coût et encombrement des mémoires d'images nécessaires dans tout système de communication vidéo prenant en compte la dimension temporelle des signaux (cadre MPEG). Désormais, les problèmes majeurs qui apparaissent, en liaison avec ce foisonnement et cette diversité des sources utilisées et des services visés, sont de nature assez fortement différente - même si les aspects ``bande passante'' et ``intégration mémoire'' doivent demeurer présents -.

De manière générale, nos travaux de recherche visent à explorer:

une description structurée des informations vidéo manipulées en communication multimédia et la définition de méthodologies performantes associées pour les extraire et les représenter ;
une nécessaire approche générique tant au niveau de la modélisation, de la compression que de la manipulation de ces objets afin de pouvoir répondre aux variabilités extrêmes du contenu des scènes visuelles traitées ainsi que des supports ou services de communication envisagés ;
une vision ``système'' d'un service de communication prenant simultanément en compte les contraintes et les caractéristiques venant de la source d'images, du réseau de communication, du restituteur et de l'utilisateur (observateur actif/passif, traitement intèractif/automatique, données a-priori liées au service de communication visé,...).

Pour appréhender, d'un point de vue essentiellement algorithmique, ces thèmes de recherche, nous nous appuyons sur le savoir-faire précédemment développé au sein du projet TEMIS, depuis plus de dix années, sur le thème de la compression de signaux vidéo ainsi que, en partenariat avec d'autres projets INRIA ou des collaborations externes, sur des compétences en matière de traitement d'images, de mixage d'images réelles et synthétiques et de protocoles réseaux.

Dans un tel contexte, les axes principaux de recherche que nous nous proposons d'étudier, concernent trois thèmes complémentaires:

la modélisation, la segmentation et la représentation d'objets vidéo;
les représentations hiérarchiques (scalabilité/sélectivité) de source(s) vidéo;
l'optimisation globale d'un service de communication multimédia par couplage source-canal ou source-réseau.

Nous détaillons les objectifs de ces trois thèmes ci-dessous. A ces axes principaux, viennent s'ajouter d'autres thèmes plus prospectifs tant algorithmiques qu'informatiques sur lesquels nous souhaitons également nous investir. Ils correspondent pour l'essentiel à l'intégration de nouveaux outils formels (modèles de déformation élastiques, représentations entropiques, contrôle et dissimulation d'erreurs, ...) ainsi que des outils informatiques (parallélisation, co-design, langages objets, synchronisation temps-réel de flux, ...) dans des schémas algorithmiques d'analyse et de communication d'images.

Représentation optimale de sources d'images

Mots-clés : séquence d'images, codage, segmentation, mouvement, objets vidéo, quantification

Résumé : Ce premier axe vise l'étude de modèles adaptés de représentation de la source image. Plusieurs contextes méthodologiques sont envisagés à ce niveau. L'objectif essentiel demeure pour tous l'obtention d'objets vidéo possédant une localisation (spatiale ou temporelle, 2D, 2D1/2, 3D) ainsi qu'une caractérisation (texturelle, géométrique, topologique) les plus précises possibles. L'objectif d'une représentation la plus compacte (représentations non redondantes de la structuration des objets) demeure si l'une des applications visées reste la compression de données. Les représentations proposées doivent également être faciles à manipuler (déformations géométriques ou changements photométriques) si des post-traitements de mixage vidéo (entre images réelles et synthétiques) sont envisagés. Enfin les modèles d'analyse et de représentation spécifiés doivent permettre une description multigrille ou granulaire de la source sous formes de ``flux" d'informations hiérarchiquement emboîtés (scalabilité source) permettant une adaptation aisée à des contraintes variables liées au canal de communication ou à l'application.

Les principaux objectifs d'étude permettant la conception de stratégies efficaces de modélisation, segmentation et représentation d'objets vidéo visent à:

fournir une meilleure localisation (spatiale essentiellement mais également temporelle concernant les zones d'occultation) des objets segmentés. Cela passe par une prise en compte explicite (pré-segmentation spatiale) ou implicite (prise en compte de gradients locaux d'intensité dans les procédures de découpage et de fusion de régions) des frontières spatiales d'objets et un suivi temporel long-terme de ces objets pour une meilleure gestion des occultations spatiotemporelles ;
proposer une hiérarchie ascendante ou descendante de cartes de segmentation topologiquement emboîtées. Ces cartes d'informations fournissent les données d'entrée pour une approche de ``scalabilité'' spatiale orientée objets discutée ci-après ;
associer à ces divers niveaux de segmentation des modes de représentation adaptés. En effet, une représentation compacte et facilement manipulable des caractéristiques issues des phases de segmentation (frontières spatiales, contenus texturels, trajectographie temporelle, ...) constitue une base indispensable pour (post-)traiter ces décompositions objets lors des phases de restitution et de manipulation multimédia ultérieures à la phase de communication elle-même.

Dans ce cadre, un nouvel axe d'étude a pour objectif majeur le développement de techniques permettant la manipulation d'images ou d'objets vidéos [MIH96]. Deux types de manipulations sont à l'étude selon que l'on cherche à modifier artificiellement le contenu d'une séquence d'images, par exemple en supprimant des objets ou en modifiant artificiellement le point de vue de la caméra, ou que l'on souhaite intégrer un objet vidéo dans une autre séquence d'images réelles ou synthétiques. D'un point de vue applicatif, nous nous intéressons plus particulièrement aux problèmes liés à la post-production vidéo (notamment dans le cadre du projet européen NEMESIS) et à la mise en oeuvre de méthodes liées à la téléconférence virtuelle.

En complément de l'objectif de modélisation hiérarchique des données issues des images, nous explorons le cadre de la représentation sélective de l'information. Contrairement aux standards usuels de compression d'image où les ressources débit-distorsion sont uniformément réparties au sein de l'image pour une qualité globalement homogène de reconstruction, le codage-décodage sélectif de scènes visuelles visent, via l'introduction de connaissances a-priori basées sur des modèles psychovisuels ou sur les applications elles-même, la définition de qualités de reconstruction inhomogène et la spécification nécessaire, dans un tel cadre, d'une méthode d'allocation dynamique des ressources débit-distorsion.

Couplage source-réseau

Mots-clés : vidéocommunications, scalabilité, réseaux, internet, qualité de service

Résumé : Cet axe de recherche ne fait que débuter au sein du projet. Il s'illustre par l'idée de considérer et spécifier un système de communication source(s) - réseau - récepteur(s) globalement et non pas étape par étape indépendamment. Ce couplage, nécessaire pour rendre optimal le système de communication global, s'avère délicat à mettre en oeuvre si une fléxibilité maximale est demandée. Le titre générique de cet axe de recherche regroupe en réalité deux cas distincts: 1) le couplage entre une source (unique) et un canal de communication spécifique 2) le couplage entre une ou plusieurs sources de données et un réseau de communications distribué dont les caractéristiques peuvent être fortement hétérogènes.

Pour ordonner les axes de recherche prospectifs que nous souhaitons explorer sur les aspects de couplage source-réseau (cette thématique ne faisant que débuter au sein du projet de recherche), si nous parcourons donc le système de communication vidéo du récepteur au restituteur, il nous paraît important d'étudier plus particulièrement les points suivants :

la décomposition multiéchelle de la source (cf. le paragraphe précédent sur l'aspect scalabilité) permettant, à partir d'une unique source d'image, la génération de plusieurs sources potentielles, appelées sous-flux d'information, alimentant l'interface source-réseau ;
la synchronisation de flux de données multimédia issus d'une algorithmique de compression (par exemple, l'interdépendance des canaux audio-vidé; ou dans le cadre du ``verification model'' de MPEG4, les flux d'information de nature diverse, mouvement, forme, texture, à synchroniser) ;
les mécanismes de régulation source-réseau permettant un contrôle adaptatif de l'encodage de la source en fonction de caractéristiques instantanées observées au niveau de la source elle-même (cadre standard des boucles de régulation dans MPEG) mais aussi du réseau (cadre plus novateur exploitant la variabilité instantanée des ressources en débit disponible et en distorsion admissible liée à la priorité de service négociée) [BTW94] ;
le codage conjoint source-canal et la protection sélective des informations en fonction de priorités et de qualités de services à assurer. Ce thème particulier du couplage source-réseau par codes-correcteurs sélectifs et couplage compression-modulation numérique est plus particulièrement exploré par plusieurs autres équipes de recherche au niveau national (ENST [ADR96] et ENSTBr) ;
le contrôle et la dissimulation des pertes d'informations au niveau du récepteur. Cette étape passe par une détection des pertes et la reconstruction inverse de l'information par exploitation des redondances résiduelles transmises involontairement (décorrélation des signaux sous-optimale) ou à dessein (modes de représentation intrinsèquement redondants). Certains protocoles réseaux (tels IP, ATM, GSM,...), par la ``paquetisation'' des données, imposent la définition de nouveaux modes de représentation pour améliorer la restitution en cas de pertes de paquets dues aux problèmes d'engorgement du réseau, de désynchronisation des flux ou de pertes effectives de données pour des canaux de communication à évanouissement ;
enfin, de manière générique et transversale, le concept de Qualité à la Demande. Le problème fondamental à résoudre concerne ici la conception de méthodes originales de représentation des données intégrant des éléments de médiation de la Qualité de Service ou de modélisation des ressources du réseau disponibles à un instant donné. La notion de qualité de service englobe alors la plupart des aspects décrits précédemment en les cumulant c'est-à-dire la qualité de codage/décodage des sources, la synchronisation et la régularité des applications, la robustesse vis-a-vis de pertes, etc.

Le dernier point mentionné (Qualité à la demande) s'avère être un cadre fédérateur pour intégrer les concepts multiéchelles des contenus video en relation avec les formats de description de scènes naturelles, 2D/3D, hybrides naturelles/synthétiques, ainsi que les procédures de transmission progressive de ces contenus. La médiation ``à la demande'' sera donc fonction de l'intérêt de l'usager pour un service donné, de sa stratégie de navigation dans la scène visuelle ainsi que des ressources réseaux disponibles.

Précédent : Composition de l'équipe Remonter : Projet TEMICS, TraitEment, Modélisation d'Images Suivant : Fondements scientifiques