Fusion multimodale et
services Web
A.
Zaguia
De
nos jours, la technologie nous permet de produire des systèmes
extensibles et entièrement contrôlés par l’humain. Ces systèmes sont
équipés par des interfaces multimodales permettant une interaction plus
naturelle et plus efficace entre la personne et la machine. Les
utilisateurs peuvent profiter des modalités naturelles (le parole, le
geste, les yeux, …, etc.) pour communiquer ou échanger des informations
avec les applications ou les systèmes. L’utilisation des
applications multimodales avec les services Web, intégrée avec des
modalités naturelles, est une solution efficace pour les utilisateurs,
en particulier pour ceux qui ne peuvent pas utiliser un clavier ou une
souris, les utilisateurs malvoyants, les utilisateurs qui sont équipés
d’appareils mobiles, les utilisateurs qui sont infirmes, …, etc.
Notre projet de recherche présente une approche dans laquelle les
modalités d’entrées variantes (parole, écran tactile, clavier,
etc.) sont mises à la disposition de l’utilisateur dans le but
d’accéder aux services Web. La technique utilisée dans l’état d’art
présente une approche avec deux modalités prédéfinie. Notre approche
permet l’utilisation d’un nombre infini de modalités (d’un point de vue
conceptuel) en utilisant un niveau sémantique appelé « Multimodal
Fusion ». Une telle approche donne à l’utilisateur la possibilité
d’utiliser les modalités qu’il juge appropriée à sa situation. La
description détaillée de l’approche proposée, ainsi que l’application
qui a été élaboré, sont présentées dans ce mémoire.