« Retour à la liste de projets
Openvibe2: ANR CONTINT
Openvibe2 consiste à concevoir des interfaces cerveau-ordinateur qui servent dans les jeux vidéo, en complément des interfaces homme-machine classiques.
Description
Une interaction cerveau-ordinateur (ICO) correspond à l'utilisation des signaux cérébraux dans le but de contrôler un système automatique tel un robot ou une simulation. Dans le précédent projet OpenViBE1 (ANR-RNTL 2005-2008 - et noté « projet PHARE ANR »), nous avons développé une plateforme logicielle open-source permettant de concevoir, tester et utiliser des ICO. Nous avons abordé plusieurs axes de recherche dans le domaine des ICO et du traitement des signaux EEG (électroencéphalographie) ainsi que dans l'utilisation des techniques de réalité virtuelle afin d'améliorer l'apprentissage d'une ICO.
Les recherches dans ce domaine sont actuellement en pleine explosion et des prototypes impressionnants sont déjà disponibles. Cependant, le niveau de contrôle offert par une ICO n'égale pas encore celui offert par une interface classique comme par exemple avec un joystick ou une souris. C'est pourquoi, l'utilisation des ICO est actuellement réservée aux personnes handicapées qui ne peuvent pas avoir accès à ces autres interfaces.
Dans OpenViBE2, nous proposons de changer radicalement la perspective d'utilisation des ICO. Nous proposons d'abord de pouvoir utiliser les ICO conjointement aux méthodes d'interaction traditionnelles comme le joystick ou la souris. Ainsi, l'ICO n'est plus considérée comme une solution de remplacement mais comme un complément de l'interface homme-machine classique. Deuxièmement, nous souhaitons utiliser l'activité cérébrale dans le but d'adapter en temps réel et de manière automatique le protocole d'interaction ainsi que le contenu de l'environnement virtuel.
Notre projet se focalise sur les jeux vidéos, qui est un domaine d'application relativement nouveau pour les ICO avec un marché potentiel conséquent. Le but du projet OpenViBE2 est donc « d'identifier et d'utiliser l'état mental et les réponses cérébrales de l'utilisateur captés par EEG, pour adapter à la fois la manière par laquelle l'utilisateur peut interagir avec le jeu et le contenu du jeu vidéo lui-même ».
Différents états mentaux peuvent être identifiés à partir des signaux EEG et utilisés: l'attention (visuelle ou auditive), l'intention (de mouvement par exemple), l'état de relaxation, la charge cognitive, etc. En fonction de ces états, plusieurs modifications peuvent être envisagées pour améliorer le « gameplay », en adaptant par exemple : (a) le protocole d'interaction (anticiper une action, assister ou guider une action, réaliser une action), ou (b) le contenu des environnements virtuels (ajout de nouveaux personnages ou changement du comportement de l'un d'eux par exemple).
Le projet OpenViBE2 soulève plusieurs défis scientifiques et techniques qui peuvent être regroupés selon trois axes de recherche : (1) au niveau neurophysiologique, pour l'expérimentation et la validation de l'utilisation de marqueurs EEG dans le contexte des jeux vidéos, (2) au niveau technologique, concernant la conception et le développement de nouvelles techniques de traitement du signal spécifiques à l'EEG et au contexte jeu vidéo, et (3) au niveau technologique, concernant l'interaction homme-machine et la mise au point de nouvelles techniques pour l'interaction en environnements virtuels basée sur l'activité cérébrale.
Les retombées que l'on peut attendre de ces recherches sont tout d'abord de nouvelles connaissances dans des domaines très variés (neurosciences, traitement du signal, IHM) ; et de nouvelles méthodes, outils et techniques pour l'adaptation du contenu et de l'interaction avec les jeux vidéos et les environnements virtuels, utilisant l'activité cérébrale et les états mentaux de l'utilisateur. De plus, nous proposons de fournir une plateforme logicielle open-source intégrant l'ensemble de nos avancées dans le domaine du traitement du signal EEG en temps-réel. Enfin, nous visons trois démonstrateurs (jeux) basés sur des technologies de la réalité virtuelle et des jeux vidéos : (1) un illustrateur technologique de type « casual game » (jeu de sport par exemple), (2) un « brain trainer » (entraînement cérébral), et (3) un « serious game » pour la réhabilitation des enfants souffrant de troubles attentionnels.
plus d'info sur : http://www.irisa.fr/bunraku/OpenViBE/wiki/index.php?title=Main_Page
Financeur
ANR CONTINT
Partenaires
INRIA (A.Lecuyer), INSERM, GIPSA-LAB, CHART, CLARTE
CEA, UBISOFT, CAPITAL-GAMES, BLACK SHEEP STUDIO, KYLOTONN