Techniques d'interaction multimodales pour l'accès aux mathématiques par des personnes non-voyantes

A. Awdé

Cette thèse s’inscrit dans le domaine de l’interaction Homme-Machine et plus précisément dans celui des interfaces multimodales destinées aux non-voyants. Elle a pour thème principal la présentation des expressions mathématiques aux non-voyants. Pour les étudiants non-voyants, apprendre les mathématiques est une tâche ardue et peut constituer une barrière, les séparant des disciplines techniques. Les travaux de recherche présentés ici décrivent les problèmes rencontrés dans la conception d’un système permettant l’accès aux mathématiques pour les utilisateurs déficients visuels. En effet, nous présentons une analyse des outils existants puis nous proposons des solutions pour combler leurs insuffisances. Nous exposons les techniques utilisées au sein de notre système pour répondre aux problèmes de la présentation des expressions mathématiques aux non-voyants. Nous exploitons la multimodalité comme technique d’interaction pour développer des applications destinées à ce type d’utilisateurs parce qu’elle offre plusieurs opportunités grâce à sa richesse des interactions. Nous dotons également notre système d’un comportement intelligent pour assurer une certaine autonomie à l’utilisateur. En effet, le système est capable de présenter l’information en fonction du contexte de l’interaction (c-à-d. l’utilisateur, son environnement et sa machine) et de la nature de l’information. Le système est « pervasif » et adaptatif.

L’accès à l’information est assuré n’importe où n’importe quand et il s’adapte dynamiquement aux changements du contexte tout en fournissant continuellement des services à l’utilisateur non-voyant, sans intervention humaine. Pour rendre le système adaptatif, nous avons élaboré un modèle qui détermine la complexité de l’expression mathématique et nous avons intégré une technique d’apprentissage automatique pour implémenter les mécanismes de décisions. Enfin, l’architecture proposée est du type multiagent.

Ces techniques ont été validées par des études de cas et en utilisant les réseaux de Petri et l’outil de simulations JADE.

Mots-clés : Interaction homme-machine, Interfaces multimodales, Interfaces non-visuelles, Interfaces pour non-voyants, mathématiques pour non-voyants.