Fission
multimodale pour les systèmes d’interaction
A. Zaguia
Les systèmes informatiques sont nés de besoins
scientifiques. Leur succès est dû à leur utilisation grand public. Ceci
a motivé les chercheurs à développer des systèmes qui permettent de
satisfaire les besoins de l’utilisateur et de viser la démocratisation
de leur utilisation à grande échelle. L’avancement technologique actuel
a créé la nécessité de produire des machines de plus en plus
performantes, faciles à utiliser et permettant de répondre aux besoins
des utilisateurs. Pour atteindre ces objectifs, ces machines doivent
être en mesure d’interférer d’une façon harmonieuse avec l’utilisateur.
Cela n’est possible que si ces systèmes sont capables de comprendre la
communication humaine. Cette dernière se fait à travers plusieurs
modalités naturelles telles que la parole, les gestes, le regard et les
expressions faciales. En s’inspirant de la communication humaine, les
systèmes multimodaux ont était développés pour combiner plusieurs
modalités en fonction de la tâche, des préférences et des intentions
communicationnelles.
Cette thèse s’inscrit dans ce cadre. Elle a pour thème principal la
fission multimodale pour les systèmes d’interactions. L’objectif
principal de nos travaux de recherche est triple. En premier lieu, nous
proposons une architecture qui est très utile dans un système
multimodal. Cette architecture est modélisée, spécifiée formellement et
raffinée par l’emploi de réseaux de Pétri colorés. Elle réalise un
module de fission multimodale. En second lieu, nous avons créé une
ontologie du domaine qui décrit l’environnement du système multimodal.
Ce modèle contient également les différents scénarios applicables pour
la réalisation de la fission. Ces scénarios sont stockés sous forme de
patterns. Notre algorithme de fission repose sur l’utilisation de la
technique de pattern. Nous avons défini deux patterns 1) pattern de
fission : sélectionne les sous-tâches élémentaires d’une commande
complexe et 2) pattern de modalité : associe à chaque sous-tâche le ou
les modalités adéquates. En troisième lieu, nous avons proposé une
nouvelle méthode/technique basée sur le contexte en utilisant les
réseaux bayésiens pour résoudre les problèmes d’ambiguïté ou
d’incertitude dans un système de fission multimodal.
Ces techniques ont été validées par des études de cas et en utilisant
les réseaux de Pétri colorés et l’outil de simulation CPN-Tools. Ainsi,
deux applications ont été implémentées : 1) une interface pour le
contrôle d’un robot. Elle peut être utilisée pour assister des
handicapés ou des personnes âgées. Cette interface est implémentée pour
valider l’utilisation de la technique de pattern dans le processus de
fission, et 2) une interface GPS pour indiquer le trajet à un
conducteur de voiture. Cette interface est implémentée pour valider
notre nouvelle méthode basée sur le contexte en utilisant un réseau
bayésien dans le cas d’ambiguïtés ou d’incertitudes.
Mots clés : Interaction homme-machine, interface multimodale, fission multimodale, contexte d’interaction, réseau bayésien.