Projet : ReMaP

previous up next contents
Précédent : Réseaux haut débit et calcul Remonter : Résultats nouveaux Suivant : Contrats industriels (nationaux, européens et


Sous-sections


   
Applications coopératives et bases de données parallèles



Participants : Lionel Brunie, Laurent Lefèvre, Ahmed Mostefaoui, Olivier Reymann.

Mots clés : base de données parallèle, mémoire distribuée virtuellement partagée, optimisation de requêtes, multimédia, base de données médicales .

Ce thème de recherche n'est plus poursuivi au sein du projet à compter du 1er septembre 1998.

Résumé :

Nos travaux s'articulent autour de deux axes.
Optimisation et traitement parallèles de requêtes relationnelles :
nous nous intéressons plus particulièrement aux serveurs parallèles de données multimédia et au traitement de requêtes complexes dans le cadre de contraintes sur la disponibilité des ressources de traitement;
Mémoire distribuée virtuellement partagée :
nous poursuivons nos recherches sur ce thème dans le cadre du système Dosmos qui, entre autres, implémente des mécanismes de structuration hiérarchique des applications en groupes de processus gérant des ensembles partagés d'informations.

Optimisation et traitement parallèles de requêtes relationnelles

En raison d'un pouvoir de description trop limité, les modèles de représentation de scénarios d'exécution parallèles de requêtes relationnelles couramment utilisés n'offrent pas la possibilité de modéliser certaines stratégies de parallélisation. En particulier, ces modèles ne permettent généralement pas d'intégrer des heuristiques d'ordonnancement. Ceci est particulièrement pénalisant pour le traitement de requêtes complexes dans le cadre de systèmes multi-requêtes. En effet, le traitement concurrent de plusieurs requêtes impose de limiter le volume de ressources (processeur, mémoire, entrées-sorties) affectées à chaque requête. D'où l'importance d'intégrer dans le processus d'optimisation de requête des heuristiques d'ordonnancement susceptibles de tirer parti au mieux des ressources disponibles, compte-tenu de la structure de la requête.

Notre équipe a proposé un nouveau formalisme de représentation, les graphes DPL qui, précisément, permet d'intégrer dans les scénarios d'exécution parallèles des directives d'ordonnancement.

Parallèlement, nous avons introduit de nouvelles heuristiques d'ordonnancement spécifiquement dédiées au traitement de requêtes complexes, nous amenant à proposer un nouveau concept de scénario d'exécution parallèle : les arbres denses sérialisés (ADS). A l'issue d'un protocole expérimental très complet, portant sur 432 requêtes contextuelles, nous avons pu montrer que les ADS permettaient d'améliorer 62% des scénarios classiques (arbres dits denses) et que, en présence de limitations de ressources, le gain moyen obtenu grâce à l'introduction de nos heuristiques d'ordonnancement atteignait jusqu'à 25% du temps de traitement, pour un surcoût d'optimisation très acceptable (de l'ordre de 1% du temps de traitement).

Serveurs parallèles de données audiovisuelles

Les serveurs vidéos sont aujourd'hui reconnus comme d'excellents candidats à une parallélisation. En liaison avec la consultation thématique France Telecom Sesame (regroupant l'INSA de Lyon (laboratoire LISI), CPE Lyon (laboratoire LISA), France 3, l'INA et le LIP), notre équipe développe un serveur parallèle de séquences audiovisuelles. L'originalité de ce serveur réside dans les heuristiques de gestion de cache que nous avons développées. Notre approche se fonde sur une analyse de la structure des documents audiovisuels et de la typologie des requêtes. S'appuyant sur une analyse par stratification (i.e. permettant d'indexer des parties de séquences pouvant partiellement se recouvrir), nous avons pu montrer que nos heuristiques permettaient de traiter jusqu'à 20% de requêtes de plus que les méthodes de gestion traditionnelles.

Ces tests ont été réalisés sur simulation et en conditions réelles. Nous avons en effet développé un serveur parallèle au-dessus de Myrinet/PM2-BIP qui intègre ces heuristiques.

Ce serveur est actuellement utilisé par l'université de Klagenfurt, Autriche.

Système de mémoire distribuée virtuellement partagée

Dans le cadre du projet Dosmos (cf. section logiciel), nos travaux cette année ont porté sur deux principaux axes.

Étude de la programmation d'applications parallèles
au-dessus d'un système de mémoire distribuée virtuellement partagée. Notre étude s'est notamment attachée à mesurer l'impact de l'utilisation de différentes sémantiques de cohérence sur des applications numériques caractéristiques. Ces expérimentations nous ont également permis de mettre en valeur certaines des fonctionnalités de Dosmos (barrières de synchronisation adaptatives, découpage et gestion répartie des variables partagées, structuration en groupes de processus);
Portages de Dosmos au-dessus de Myrinet/BIP et PM2
Ces actions de portage s'imposaient afin d'optimiser les performances de Dosmos. Dosmos, dans sa version initiale, s'appuyait en effet sur une architecture client-serveur à base de processus UNIX. Si, dans le cadre d'applications coopératives faiblement couplées, le sur-coût lié à la gestion des processus est supportable, il s'avère clairement trop pénalisant lorsqu'on s'intéresse à des applications parallèles numériques fortement couplées. Le portage au-dessus de Myrinet, en permettant de diminuer le temps de gestion de la mémoire partagée apporte une solution architecturale partielle au problème. Par contre, en développant une version multithreads au-dessus de PM2, notre ambition est de nous affranchir au maximum des coûts de gestion processus locaux (e.g. changements de contextes). La version Myrinet/BIP est d'ores et déjà disponible. La version PM2 est en cours de finalisation (disponibilité : 1er  trimestre 1999).
Parallèlement, sur un plan théorique, nous avons proposé, dans le cadre d'une action incitative INRIA sur les réseaux à capacité d'adressage, de nouveaux mécanismes de partage virtuel d'objets mémoire spécifiquement adaptés à ce type de réseau.

Axes de recherche

Nos entendons privilégier trois principaux axes de recherche.

Heuristiques de traitement de requêtes multimédia : modélisation de données multimédias partiellement structurées, optimisation de requêtes multimédias, heuristiques de gestion de cache.
Validation des versions hautes performances de Dosmos (Dosmos-PM2-BIP) et développement de nouvelles fonctionnalités de Dosmos (outils de débogage).
Nous envisageons enfin, d'utiliser Dosmos dans le cadre du développement d'un serveur parallèle d'images médicales comme outil d'échange d'informations de traitement et d'équilibrage de charge entre processus d'exécution (en prolongement du projet Esprit TTN ProHPC-MBASE). Parallèlement, nous pensons, à court terme, utiliser Dosmos comme environnement de développement d'applications multimédias (e.g. téléconférence).



previous up next contents
Précédent : Réseaux haut débit et calcul Remonter : Résultats nouveaux Suivant : Contrats industriels (nationaux, européens et