Team PARIS

Members
Overall Objectives
Scientific Foundations
Application Domains
Software
New Results
Contracts and Grants with Industry
Other Grants and Activities
Dissemination
Bibliography
Inria / Raweb 2002
Project: PARIS

Project : paris

Section: New Results


Grilles de données

Couplage de codes via un espace d'adressage global

Participant : Yvon Jégou.

La communication au sein d'une grappe hétérogène de calculateurs peut être effectuée par d'autres mécanismes que ceux actuellement utilisés (RPC, courtier d'objets ou échange de messages). Nous avons entrepris une étude sur le couplage de mémoires virtuellement partagées. Le système distribué que nous visons est une grille de calcul constituée d'une collection de grappes et de machines parallèles ayant une forte hétérogénéité. Chaque grappe ou machine parallèle est dotée d'une mémoire virtuellement partagée. L'objectif est d'offrir un espace d'adressage global sur l'ensemble de ces grappes et de ces machines parallèles. Plusieurs problèmes se posent : la gestion de l'hétérogénéité des machines (représentation des données, taille de page, placement des données en mémoire, système d'exploitation), la cohérence des données (sachant que chaque mémoire virtuellement partagée peut avoir son propre protocole de cohérence), le transfert de données entre plusieurs machines en exploitant les ressources réseaux disponibles, l'ajout et le retrait de calculateurs de la grille, la durée de vie et la persistance des données du répertoire (possibilité offerte aux applications de venir se connecter à une MVP existante, conservation des données par la MVP après l'arrêt d'une application). Les développements en cours sur la MVP Mome prennent en compte un certain nombre de besoins : support d'exécution de langages parallèles (OpenMP dans le projet IST POP), couplage direct d'applications parallèles (lancement de plusieurs applications sur une même MVP), hétérogénéité des couches de communication (grappes de grappes, grappes reliées par un réseau longue distance à haut débit) par la mise en œuvre d'un protocole de gestion hiérarchisé, l'hétérogénéité dans les représentations des données par le couplage de MVP (expérimentations dans le cadre du projet RNRT VTHD), la persistance des données (projet RNTL e-Toile). Les expériences réalisées dans le cadre du projet RNRT VTHD ont montré qu'il était réaliste de coupler efficacement deux applications parallèles s'exécutant sur deux grappes distantes (Rennes et Sophia-Antipolis) reliées par un réseau haut débit (débit supérieur à 920 Mb/s, proche de la limite de 1 Gb/s, ), même lorsque le nombre de machines supportant les applications parallèles est différent sur les deux sites (cas qui génère un schéma de communication irrégulier).

Gestion de données dans des systèmes vraiment à grande échelle

Participants : Gabriel Antoniu, Luc Bougé, Sébastien Lacour, Thierry Priol.

Notre objectif est de concevoir un premier prototype qui permette de partager des données au niveau d'une constellation hétérogène de grappes, à l'échelle d'un pays comme la France, fondé sur une approche Peer to Peer. Les grappes sont réparties à Rennes, Paris, Grenoble, Lyon et Nice. Elles sont interconnectées par le nouveau réseau VTHD à 2,5 Gb/s.

Comme première étape, nous avons commencé une étude sur les problématiques nouvelles liée à la conception d'un système de partage de mémoire à grande échelle. Nous avons identifié plusieurs nouvelles hypothèses, dont notamment les suivantes.

Dynamicité du réseau sous-jacent.

Les réseaux pair-à-pair supportent des milliers de noeuds qui peuvent se connecter et se déconnecter du réseau de manière dynamique pendant l'exécution d'un calcul. Cette variabilité fait apparaître des problématiques proches de celles des systèmes distribués tolérants aux pannes. Les études sur les systèmes à mémoire virtuellement partagée tolérants aux pannes peuvent s'avérer très utiles pour ce type d'étude. Par ailleurs, il y a également une variabilité dans le temps du degré de disponibilité des pairs. Les pannes deviennent alors des cas particuliers où la disponibilité d'un noeud devient nulle. Le projet JXTA ( http://www.jxta.org/) propose une infrastructure générique pour des services peer-to-peer qui peut constituer un bon support pour la conception et la mise en œuvre d'un système de partage de mémoire pair-à-pair. Nous avons réalisé une première étude sur ce thème et nous avons commencé la réalisation d'un premier prototype sur JXTA (stage de maîtrise de Parkshit Machwe, étudiant du IIT, Inde).

Hétérogénéité.

Dans un réseau de très grande taille, l'hypothèse habituelle d'homogénéité des ressources matérielles n'est plus réaliste. Les caractéristiques des différentes ressources mises en jeu (débit réseau, fiabilité, niveau de sécurité, degré de disponibilité) seront également hétérogènes. La portabilité et l'interopérabilité deviennent particulièrement cruciales.

Architecture hiérarchique.

À la différence des grappes, caractérisées le plus souvent par une architecture plate, le passage à l'échelle impose le plus souvent une architecture hiérarchique, que l'on peut modéliser par des grappes de grappes. Pour exploiter efficacement ce type d'architecture, il est nécessaire de mettre en œuvre des protocoles de cohérence multi-niveaux, qui prennent en compte la structure hiérarchique des réseaux : interconnexions rapides au sein des grappes et beaucoup plus lentes entre les grappes. Nous avons conçu un protocole de cohérence qui montre que la prise en compte de la hiérarchie peut produire des gains significatifs en efficacité. Ce protocole constitue une étape préliminaire de notre travail de conception d'un système de partage de mémoire pair-à-pair à grande échelle. Il tient compte de la hiérarchie de l'architecture sous-jacente des nœuds grâce à deux mécanismes :

  • priorité des threads et des nœuds locaux pour l'acquisition des verrous,

  • libération partielle des verrous.

Le protocole a été implémenté et évalué sur la plate-forme DSM-PM2 , en environnement multithread. Les mesures effectuées montrent un très bon comportement du protocole hiérarchique en termes de performances et de passage à l'échelle.

Critères d'évaluation.

Le passage à l'échelle a aussi pour effet une remise en cause des priorités des critères d'évaluation des systèmes. La fonctionnalité, la transparence, la tolérance du support dynamique et l'interopérabilité deviennent au moins aussi importantes que la performance.

Depuis le 1er octobre 2002, nous avons mis en place un séminaire interne au projet Paris, intitulé Gestion de données pair-à-pair à grande échelle. Ce séminaire a pour objectif la présentation et la discussion des principaux résultats des recherche publiés sur ce thème. Gabriel Antoniu est responsable de l'organisation de ce séminaire.


previous
next