L'étude de l'état de l'art dans le domaine du dialogue homme-machine montre qu'il est possible dans le cadre de domaines limités de mettre en œuvre des dialogues où l'utilisateur peut exprimer un certain nombre d'ordres ou de requêtes. Cependant, ces systèmes n'ont que très peu de capacités d'adaptation : le passage d'une application à une autre demande bien sûr de revoir l'ensemble du modèle de langue et du descriptif de la tâche, mais surtout, il est très difficile, au cours du dialogue lui-même, de tenir compte à la fois des problèmes de communication rencontrés, des évolutions des connaissances langagière ou des paramètres de la tâche, ou de la nécessaire adaptation du système à l'utilisateur.
Cette action spécifique a pour objet l'étude préliminaire au développement de systèmes de DHM qui se dégagent du cadre des systèmes de type question/réponse pour profiter du caractère dynamique qu'offre le contexte interactif.

Le geste permet une interaction naturelle. Il est peu utilisé dans la communication H-M. La vision est peu utilisée dans les dispositifs multimodaux.
Causes :
L'expression gestuelle seule est incomplète et ambigue. Le geste co-verbal est peu contraint et donc difficile à analyser par un système de vision.
Objectif :
Enrichir les capacités d'échange de la communication visuo-gestuelle.

L'étude des points communs langue des signes / gestuelle co-verbale permettra sa transposition à la communication H-M.