Papers

Conferences peer-reviewed

Dimitrios Batras, Judith Guez, and Jean-François Jégo. 2016. InterACTE: Improvising with a Virtual Actor. In Proceedings of the 3rd International Symposium on Movement and Computing (MOCO ’16). ACM, New York, NY, USA, , Article 52 , 2 pages. DOI: http://dx.doi.org/10.1145/2948910.2955109

This paper describes an interactive installation that invites participants to improvise with an autonomous virtual actor. Based on real-time analysis of the participant’s gestures, the virtual actor is capable of either propose expressive and linguistic gestures (selected from a set of four Motion Capture Databases), either imitate the participant, or either generate its own gestures using a Genetic Algorithm. A software agent is used to trigger the previously mentioned behaviors based on the analysis results and on a set of predefined rules. The installation is presented in two acts: i. In the first act, the participant interacts with the projected shadow of the virtual actor; ii. In the second act, the participant is being immersed in a 3D world using a virtual reality HMD—the virtual actor is being presented to her/him in the form of an avatar made of particles.

Dimitrios Batras, Jean-François Jégo, and Chu-Yin Chen. 2016. Deaf Poetry: saying everything without speaking. In Proceedings of the 3rd International Symposium on Movement and Computing (MOCO ’16). ACM, New York, NY, USA, , Article 51 , 2 pages. DOI: http://dx.doi.org/10.1145/2948910.2955108

Here, hands don’t beat the drum. Instead the drum speaks with its hands, projected onto its skin. They interact and create poems in sign language, especially for the deaf/hearing impaired, because the drum has acquired the expressive and prosodic gestures of deaf poets. This installation is based on a Virtual Reality Agent-based platform to explore an interactive gestural dialogue between real and virtual actors.

Anne Dubos and Jean-François Jégo. 2016. Rock Art Rocks Me. In Proceedings of the 3rd International Symposium on Movement and Computing (MOCO ’16). ACM, New York, NY, USA, , Article 49 , 2 pages. DOI: http://dx.doi.org/10.1145/2948910.2948918

We are looking for something primitive: a memory from before our birth. Something obvious, we all carry and that evolves within us: the first gestures of the first men. Between art, science and technology, our research tends to a virtual scene of rock art in action. Assuming that the cave paintings are the traces of oral performance or dance rites, they have been used as transmission and communication media for the knowledge of surrounding and environments of the early men (hunting, myth, history, art or religious content, shamanism). Through the scope of these fragmentary traces of history, we are seeking to reconstruct various performative scenarios echoing the paintings of the Chauvet’s cave.

Batras D., Jégo J.-F., Guez J., Tramus M.-H., A virtual reality agent-based platform for improvisation between real and virtual actors using gestures, ACM VRIC, Laval, France, March 2016

This paper describes the process of designing a Virtual Reality Agent-based platform to explore an interactive gestural dialogue between real and virtual actors and propose an analysis of the results. It is part of an interdisciplinary project involving researchers in the fields of linguistics, digital arts and computer science, as well as actors and professors. Several experiments of improvisation conducted with actors through computer-mediated interactions help in characterizing specific dynamics of gestures, recurrent behaviors and gestural patterns. We extract specific descriptors of movement and behaviors that will drive the improvisation. The virtual actor is able to improvise and generate its gestures using a finite state machine that triggers three main behaviors according to the actor’s body posture and arm movements: the virtual actor can mime in real-time the real actor, it can propose expressive or linguistic gestures from four MoCap databases, or it can generate a new gesture using a genetic algorithm. A first installation experienced by the participants during at an international art festival, shows they are able to improvise fluently with the virtual actor in a rich and expressive dialogue.

Jégo J.F., Guez J., Redonner densité à l’acteur virtuel : identité, présence, interaction, Colloque international L’acteur face aux écrans : corps en scène [Prise 2], Université du Québec à Montréal, Canada et Sorbonne Nouvelle Paris 3, Paris, 3-5 juin 2015

Un corps numérisé, mis en scène et restitué en temps réel par des dispositifs de réalité virtuelle peut être communément assimilé à une perte de densité, de corporéité, ou d’identité par rapport au jeu de l’acteur réel. La chair de synthèse, le plus souvent révélée par l’image, lui attribue un caractère immatériel qui ne permet pas de contact ou ressenti physique, haptique ou charnel. L’enjeu actuel reste de redonner aux corps synthétiques épaisseur et caractère. À travers l’étude de deux mises en scène, qui croisent le jeu d’acteurs réel et de synthèse, nous voyons émerger trois critères essentiels pour redonner une densité au numérique : identité, présence, interaction. De ces trois points, nous notons que l’association du jeu de l’acteur réel avec celui de l’être virtuel ainsi caractérisé permet l’émergence de situations singulières et empathiques construites le temps du spectacle.

Jégo J.F., Boutet D., Vincent C., Blondel M., Guez J., Batras D., Catteau F., Chabalier C., Chen C.-Y., Delacroix S., Hsieh C.-W., Renna I., Guyot P., Lubek J., Tramus M.-H., CIGALE : Capture et Interactions avec des Gestes Artistiques, Langagiers et Expressifs, Conférence internationale Le sujet Digital, Université Paris 8, Paris, 18-21 nov. 2013

CIGALE, Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs, développe un dispositif artistique et scientifique mettant en œuvre une interaction gestuelle entre un humain et une entité virtuelle. Quatre bases de données gestuelles d’une grande diversité sémiotique ont été enregistrées par capture de mouvement. La capture du mouvement implique son ‘décollement’ du support corporel et de l’espace qui participent au sens des gestes. Un générateur paramétrable appliqué aux gestes (gestes virtuels par algorithme génétique) complète les bases de données de gestes. Des expérimentations d’interactions ont permis de modéliser des comportements en usage dans un dialogue gestuel et de les implémenter dans le moteur de comportement de l’entité virtuelle. Ces va-et-vient dialogiques entre corps réel, extraction, inscription et ex-cription du sens dans l’interaction avec une entité virtuelle, interrogent l’ontologie même d’un avatar.

Jégo J.F., Paljic A., and Fuchs P., User-Defined Gestural Interaction: a Study on Gesture Memorization. IEEE 3DUI Symposium on 3D User Interfaces, p. 7-10, Orlando, Fl, USA, mars 2013

In this paper we study the memorization of user created gestures for 3DUI. Wide public applications mostly use standardized gestures for interactions with simple contents. This work is motivated by two application cases for which a standardized approach is not possible and thus user specific or dedicated interfaces are needed. The first one is applications for people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is creative arts applications, for which gesture freedom is part of the creative process. In this work, users are asked to create gestures for a set of tasks, in a specific phase, prior to using the system. We propose a user study to explore the question of gesture memorization. Gestures are recorded and recognized with a Hidden Markov Model. Results show that it seems difficult to recall more than two abstract gestures. Affordances strongly improve memorization whereas the use of colocalization has no significant effect.

Journal

Jégo J.F., Nertomb R., Rubikhome project : Experiencing a modular interactive architecture. Revue des Arts et Technologies de l’image n°4, p. 61-64, janvier 2009

RubikHome propose de jouer sur la proprioception et la conscience de son propre corps pour interagir par proximité aux objets d’un appartement virtuel. Le principe est de composer une symphonie visuelle dans un environnement virtuel reprenant les codes du quotidien. La simple proximité du corps permet de faire nuancer la configuration des objets et des pièces d’un appartement virtuel. Cette expérience questionne aussi la notion de présence en environnement virtuel, l’utilisateur impliqué en virtuel ayant la sensation de vivre une expérience dans l’appartement virtuel plutôt que dans la pièce réelle.

Conference

Jégo J.F., Circulation et équilibre des rôles entre mécanismes de commandes et comportement autonome, Séminaire « créateurs de comportements », Living Art Lab, p. 25, Le Cube, Issy, 05 juillet 2011

La pièce que présente Jean François Jégo est une interprétation par Sophie Lavaud du tableau Rouge, Jaune, Bleu de Wassily Kandinsky datant de 1925. L’objectif de l’auteur est de rendre le tableau dynamique, et ce par la modélisation en 3D des éléments qui le composent. Le spectateur interagit avec ces éléments et les déplace dans le tableau afin de créer sa propre composition. L’œuvre s’expérimente selon trois niveaux proxémiques, et les éléments du tableau disposent de comportements autonomes. Ils sont soumis à des forces d’élasticité, d’équilibre ou de ressort entre eux ainsi que d’une inertie individuelle. L’utilisateur ne peut prévoir quel sera le point d’arrivée de l’élément qu’il va déplacer. Les mécanismes de commandes sont eux, interactifs, et demandent un certain apprentissage de l’œuvre. Les échanges portent sur la circulation et l’équilibre des rôles entre les mécanismes de commandes interactifs et les comportements autonomes.

Dissertations

Jean-François Jégo, User-Defined Gestural Interaction for Virtual Reality, PhD Thesis, Mines parisTech, p 166, Paris, 2013

In this thesis, we propose and evaluate new gestural interfaces for 3DUI. This work is motivated by two application cases: the first one is dedicated to people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is artistic digital performances, for which gesture freedom is part of the creative process. For those cases, a standardized approach is not possible and thus user-specific or dedicated interfaces are needed. We propose a user-defined gestural interaction that allows the user to make the system learn the gestures that he has created, in a specific phase, prior to using the system. Then, the user reuses his created gestures to interact in the virtual environment. This approach raises research questions about memorization of gestures, effects of fatigue and effects of visual feedbacks. To answer those questions, we study the memorization of user created gestures regarding the role of affordances and colocalization on gesture recall. Then, we study the role of different visual feedbacks on gesture repetitions for a set of manipulation tasks. We also compare full-collocated gestures to loose gestures with lower amplitude. Also, the approach has been designed to be affordable using low-cost devices. We explore solutions to deal with the lower data quality of such devices. The results of the user-studies are based on the analysis of six thousand gestures performed by forty subjects.

Jean-François Jégo, Interactive mime performance: reciprocities with virtual silhouettes, Master Thesis, Université Paris 8, p 61, Paris, 2010

This thesis deals with the setup of a technical device dedicated to an interactive set design for performing arts. Featuring Dimitri Rekatchevski, mime artist, a six scenes pantomime (mime theatrical performance) has been created. The actor is tracked by a motion capture system in real time, this adds a new dimension for the performance: the interactivity. The actors and the elements are visible from the public behind a folding screen which receives the video projection of the black shape of the actor and the virtual accessories. We will discuss about the relationships and conversation’s interfaces between real and virtual elements, with an approach focused on the actor.