previous up next top index
Précédent : Actions de recherche Remonter : Actions de recherche Suivant : Modèles hétéroscédastiques


Le principe de maximum d'entropie en modélisation statistique

  Participants : Gilles Celeux, Claudine Robert, Véronique Venditti

Le principe de maximum d'entropie (PME) renverse la présentation classique de la modélisation statistique au sens où il choisit en premier lieu les quantités statistiques que l'on juge essentielles pour résumer l'information apportée par un jeu de données. Le modèle, c'est-à-dire la loi de probabilité décrivant le phénomène aléatoire, n'apparaît qu'après et doit vérifier des contraintes mettant en jeu ces quantités statistiques essentielles.

La loi du maximum d'entropie est obtenue par maximisation d'une certaine fonctionnelle sur l'ensemble des lois pouvant servir de modèle. La fonctionnelle que nous avons choisie est l'entropie de Shannon, car elle seule permet d'atteindre une loi qui possède la propriété de concentrer les lois empiriques dans son voisinage.

Nous avons montré, que s'il existe un état de Gibbs répondant aux contraintes, celui-ci représente l'unique loi qui réalise le maximum de cette entropie. Cette propriété permet d'éviter le recours habituel à la méthode des multiplicateurs de Lagrange et autorise ainsi de traiter le cas mixte où des variables discrètes et continues sont mélangées. Nous avons d'autre part établi que, dans la démarche classique, qui part d'une structure statistique donnée, les équations du maximum de vraisemblance sont exactement les équations du PME associées à une information empirique. Les deux principes se renforcent alors mutuellement.

Nous avons poursuivi notre travail sur la relecture de la procédure de régression logistique par le PME. Nous avons montré que le PME permet d'envisager la procédure de régression logistique comme l'écriture naturelle d'une étude de régression où l'information apporté par un jeu de données (issu d'un échantillonnage de type quelconque) est résumée simplement par la loi empirique des variables explicatives, celle de la variable de groupe et par les moyennes empiriques des liens entre chaque variable explicative et la variable de groupe. Cette relecture évite d'avoir à justifier l'utilisation des équations issues de la maximisation d'une vraisemblance correspondant à un échantillonnage prospectif pour d'autres types de protocoles (dont nous avions prouvé qu'il n'est justifié qu'asymptotiquement) [22].

L'abord par le PME permet par ailleurs dans le cas très simple de la régression linéaire gaussienne d'intégrer la connnaissance a priori de la matrice variance des variables explicatives. La prise en compte de cette information est impossible par la méthode du maximum de vraisemblance. Le PME fournit ainsi un estimateur de variance plus faible que l'estimateur classique pour de très petits échantillons.

Enfin, une application de la modélisation par PME est envisagée dans le but de permettre le déplacement autonome d'un robot dans un environnement encombré d'obstacles, en se basant sur des connaissances préalables a priori et expérimentales (travail effectué en collaboration avec des informaticiens du laboratoire Leibniz). Cela permettra d'envisager le PME comme outil de modélisation en vue d'obtenir un modèle spécifiquement adapté dans des situations simples mais non standards. Un premier modèle où les histogrammes sont résumés par leurs modes a été construit et est en cours d'expérimentation.



previous up next top index Précédent : Actions de recherche Remonter : Actions de recherche Suivant : Modèles hétéroscédastiques