S9 SIIA Interaction avec les Environnements de réalité Virtuelle ou Augmentée

Présentation

L'objectif du module est d'acquérir les connaissances nécessaires à la conception de systèmes de réalité mixte (de la Réalité Augmentée à la Réalité Virtuelle, RV-RA), tant du point de vue matériel que logiciel et conceptuel. Il permet de connaître les principaux modèles de référence dans ces domaines ainsi que les principes de conception de systèmes immersifs de RV-RA. Il s'agit de connaitre les principes de la modélisation des environnements virtuels qui favorisent l'immersion de l'utilisateur et la capacité de ce dernier à interagir de manière naturelle avec ces environnements. Ce module met l'accent sur les environnements informés peuplés d'entités autonomes, notamment des humains virtuels expressifs capables d'exploiter les ressources de l'environnement virtuel et de communiquer avec l'utilisateur.

Pré-requis nécessaires

Modélisation et programmation orientées objets. Conception des Interfaces Homme-Machine.

Compétences visées

Savoir
- Principaux types de dispositifs de RV et de RA
- Types de services fournis par les principales API 3D
- Compréhension des facteurs d'utilisabilité et d'acceptabilité des applications interactives
- Modèles d'environnements informés
- Principes de conception des architectures de contrôle d'entités autonomes en environnement virtuel
- Principaux algorithmes de comportements biomimétiques
- Standards des architectures d'agents conversationnels
- modélisation des agents virtuels humanoïdes, génération des signaux de communication multimodaux
- connaissance sur le comportement humain lors des interactions conversationnelles


Savoir-faire
- conception de dispositiifs d'interaction avec un environement virtuel
- Modélisation d'un environnement virtuel informé
- Contrôle d'un humain virtuel conversationnel expressif

Descriptif

1) Dispositifs de RV- RA  et modèles pour l'interaction naturelle collaborative
 - Types de dispositifs d'affichage et de capture d'activité pour la RV et RA
 - Plasticité des interfaces
 - Typologie des interactions (navigation, sélection/manipulation, contrôle d'application)
 - Modèles d'objets interactifs. Métaphores et outils d'interaction
 - Perception des interactions et du potentiel interactif des objets (notions d'affordance et d'awareness)
 - Interactions collaboratives : partage des mondes virtuels (distribution, synchronisation) ou du partage de l'espace réel - partage des interactions, métaphores appropriées et modèles d'objets partageables - perception des autres, de leur activité, de leurs intentions
2) Modélisation des environnements virtuels
 - Modèles d'environnements informés
 - Modèles d'activités collaboratives
3) Modèles de comportements d'entités autonomes
 - Comportement réactif pour la navigation : modèles bio-inspirés (steering, flocking), modélisation de l’environnement (path-planning, champ de potentiel…)
 - Modèles pour la perception artificielle : perception de l’environnement et perception pour les interactions sociales
 - Modèles de comportements réactifs pour l'animation comportementale
4) Interaction naturelle avec des agents conversationnels expressifs
 - Architecture d’agents cognitifs pour des agents autonomes intelligents
 - Humains virtuels conversationnels et  expressifs

Bibliographie

Handbook of Virtual Humans, Magnenat-Thalman & Thalmann, Wiley,  2004
Le Traité de la Réalité Virtuelle - Volume 5 : l'humain virtuel, Presses de l'Ecole des Mines,  2009
Cognitive architectures: Research issues and challenges, Langley et al., Cog. Syst. Research, 2009
Algorithms and Networking for Computer Games, Smed & Hakonen, Wiley, 2006
Life-Like Characters: Tools, Affective Functions, and Applications, Prendinger & Ishizuka (Eds), 2013