Equation de Hamilton-Jacobi-Bellman

On peut aussi résoudre le problème de commande optimale en s'appuyant sur un principe de programmation dynamique, ou (ce qui est très proche en pratique) en résolvant l'équation de Hamilton-Jacobi-Bellman (HJB)

vt(x, t) + $\displaystyle \bar{{\mathcal{H}}}$(x, vx(x, t)) = 0,    $\displaystyle \forall$ x $\displaystyle \in$ $\displaystyle \mbox{${\rm {I}}\!{\rm {R}}$}$n,    v(x, T) = 0,            (HJB)
$\displaystyle \bar{{\mathcal{H}}}$(x, vx(x)) : = $\displaystyle \inf_{u}^{}$H(x, u, p) (3)

coïncide avec $ \mathcal {H}$ si Huu est inversible. On sait que la solution (en un sens généralisé, dit de viscosité) de cette équation n'est autre que la valeur du problème (Ps, x), et la commande optimale est obtenue en calculant en chaque point de la trajectoire l'argument du minimum dans (3), avec p = vx. On obtient ainsi un algorithme calculant la solution globale, dont on sait évaluer la complexité. Les points délicats de la méthode, hormis l'inévitable limitation de dimension, concernent en particulier :

Enfin il est possible de résoudre numériquement le problème de commande optimale par la méthode dite directe, de discrétisation temporelle a priori, puis en appliquant au problème en temps discret ainsi obtenu un algorithme d'optimisation non linéaire. Ce procédé a l'avantage de permettre aisément la prise en compte de contraintes variées, et l'inconvénient d'un manque de précision d'une méthode qui reste locale.

Les références classiques sur la méthode de tir en commande optimale datent des années 70-80 [AY75,SB80]. Leurs avantages et inconvénients par rapport à l'approche directe (voir par exemple [JW92,JL98]) est discutée en détail dans [Bet98]. ces méthodes ont été appliquées au calcul de commande en boucle fermée [Pes98].

Les problèmes avec arc singulier sont présentés dans [AY75]. On trouvera d'intéressantes études de cas particuliers dans [TH91].

Les méthodes de tir sont restées largement employées dans les dernières années, sauf en France où elles sont ignorées pour l'essentiel. Cependant elles n'ont pas fait l'objet d'investigations approfondies depuis environ une dizaine d'années.

Par ailleurs on trouvera une synthèse récente sur l'approche par l'équation de Hamilton-Jacobi dans [BCD97].