User-Defined Gestural Interaction for Virtual Reality (Open Access)
Jean-François JEGO
In this thesis, we propose and evaluate new gestural interfaces for 3DUI. This work is motivated by two application cases: the first one is dedicated to people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is artistic digital performances, for which gesture freedom is part of the creative process. For those cases, a standardized approach is not possible and thus user-specific or dedicated interfaces are needed. We propose a user-defined gestural interaction that allows the user to make the system learn the gestures that he has created, in a specific phase, prior to using the system. Then, the user reuses his created gestures to interact in the virtual environment.
This approach raises research questions about memorization of gestures, effects of fatigue and effects of visual feedbacks. To answer those questions, we study the memorization of user created gestures regarding the role of affordances and colocalization on gesture recall. Then, we study the role of different visual feedbacks on gesture repetitions for a set of manipulation tasks. We also compare full-collocated gestures to loose gestures with lower amplitude. Also, the approach has been designed to be affordable using low-cost devices. We explore solutions to deal with the lower data quality of such devices. The results of the user-studies are based on the analysis of six thousand gestures performed by forty subjects.
Keywords: virtual reality, gestural interaction, 3DUI, human factors, machine learning, low-cost devices
Interaction basée sur des gestes définis par l’utilisateur : Application à la réalité virtuelle
Jean-François Jégo
Ces travaux de recherche proposent une nouvelle méthode d’interaction gestuelle. Nous nous intéressons en particulier à deux domaines d’application : la thérapie à domicile par la réalité virtuelle et les arts scéniques numériques. Nous partons du constat que les interfaces standardisées ne sont pas adaptées à ces cas d’usage, car elles font appel à des gestes prédéfinis et imposés. Notre approche consiste à laisser la possibilité à l’utilisateur de faire apprendre ses gestes d’interaction au système. Cela permet de prendre en compte ses besoins et aptitudes sensorimotrices. L’utilisateur réutilise ensuite son langage gestuel appris par le système pour interagir dans l’environnement virtuel.
Cette approche pose des questions de recherche centrées sur la mémorisation, la rétroaction visuelle et la fatigue. Pour aborder ces trois aspects, nous étudions d’abord le rôle de l’affordance visuelle des objets et celui de la colocalisation dans la remémoration d’un vocabulaire de gestes. Ensuite, nous évaluons l’influence de différents types de rétroactions visuelles sur l’évolution des gestes répétés par l’utilisateur dans une série de tâches de manipulation. Nous comparons également les performances entre des gestes d’amplitude réaliste et des gestes d’amplitude faible pour effectuer la même action. Aussi, nous attachons une importance à rendre l’interface accessible en utilisant des dispositifs bas coûts et peu intrusifs. Nous explorons les moyens de pallier les contraintes techniques liées aux systèmes peu performants.Pour cela, nous avons conduit des expériences où plus de six mille gestes proposés par une quarantaine d’utilisateurs ont été étudiés.
Mots clés : réalité virtuelle, interaction gestuelle, 3DUI, facteur humain, apprentissage artificiel, interfaçage bas coût
| Télécharger la thèse : | Télécharger la présentation : |
 (4.9 MB) | (3.5 MB) |
Vidéo
Installation “Haut la main!” presented at Futur en Seine, Paris, June 2013
More info
Also available on Archives-ouvertes
PhD Defense :
User-Defined Gestural Interaction for Virtual Reality
Thursday 12 December, 2013, 2:30 pm
Lecture hall Schlumberger
Mines ParisTech, 60 Boulevard Saint-Michel 75006 Paris