Conferences peer-reviewed
2020
Participatory art allows for the spectator to be a participant or a viewer able to engage actively with interactive art. Real-time technologies offer new ways to create participative artworks. We hereby investigate how to engage participation through movement in interactive digital art, and what this engagement can awaken, focusing on the ways to elicit improvisation and letting go. We analyze two Virtual Reality installations, “InterACTE” and “Eve, dance is an unplaceable place,” involving body movement, dance, creativity and the presence of an observing audience. We evaluate the premises, the setup, and the feedback of the spectators in the two installations. We propose a model following three different perspectives of resonance: 1. Inter Resonance between Spectator and Artwork, which involves curiosity, imitation, playfulness and improvisation. 2. Inner Resonance of Spectator him/herself, where embodiment and creativity contribute to the sense of being present and letting go. 3. Collective Resonance between Spectator/Artwork and Audience, which is stimulated by curiosity, and triggers motor contagion, engagement and gathering. The two analyzed examples seek to awaken open-minded communicative possibilities through the use of interactive digital artworks. Moreover, the need to recognize and develop the idea of resonance becomes increasingly important in this time of urgency to communicate, understand and support collectivity.
2019
JEGO Jean-François, MEYRUEIS Vincent, BOUTET Dominique. A Workflow for Real-time Visualization and Data Analysis of Gesture using Motion Capture. In Proceedings of Movement and Computing conference, Tempe, AZ, USA, October 2019 (MOCO ’19) , 6 pages, ACM, New-York, USA, 2019
We investigate new ways to understand and to analyze human gesture in a research context applied on co-verbal gesture across language. The research project focuses on the quality of the movement and consider the gesture “pulse of effort.“ We propose a workflow for real-time gesture analysis to visualize gesture kinematics features (Velocity, Acceleration, Jerk) from heterogeneous data (Video, Motion Capture and Gesture Annotations) at the same time base. The tools designed here provide immersive and interactive explorations of data: users can test hypotheses and embody gesture visualization and descriptors adopting different Frames of Reference using augmented reality. We have conducted an evaluation protocol in the field of linguistics that compares 496 annotated gestures to benchmark the workflow.
“The medium is the message” from McLuhan [13] showed and still shows how the medium influences how the message is perceived. This article proposes a new model for computer-human interaction named MITMI for (hu)man-in-the-middle Interaction in the context of digital art. This approach questions the concept of mediated interaction by placing the human as the driver and as the “translator” of the interaction process from a theoretical point of view. Indeed, mediated interaction is based on the fact that two humans are able to interact through a technological device [5]. We develop the idea of putting human back as an intermediary between the user/spectator and the technology. Our model thus introduces a way of conceptualizing interactive digital artworks, where the artist considered as an operator and creator can also take a central position and is no longer the only producer of the work taking thus entirely part of the artwork. We first explore the need to put the human back in the loop, then we will describe how the principles of mediated interaction help in defining the MITMI model. We will stress this model through several installations and interactive artworks based on the idea of shifting the artist position from the creator, to the mediator between the real world and the virtual world. Beyond the artistic approach, this model proposes to redefine and to explore new modes of co-creation or mediation, where digital media supports human-to-human interaction.
2018
Le projet collaboratif CIGALE (Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs), soutenu, par le Labex ARTS-H2H, a développé un dispositif mettant en œuvre une interaction gestuelle entre un acteur humain et un acteur virtuel (AV). Les recherches se sont déployées selon cinq directions : la capture du mouvement, l’analyse gestuelle, la génération de mouvements virtuels, l’improvisation et sa modélisation, l’interaction gestuelle et son analyse. Nous nous focaliserons dans cet article sur les deux derniers axes, ceux de l’improvisation et de l’interaction gestuelle avec un AV en nous intéressant plus particulièrement à l’installation InterACTE, une des créations en réalité virtuelle développées dans le cadre de ce projet.
2017
This practice-based workshop aims at exploring various methodologies and tools to design gestures that could be used in interactive systems. We argue that gesture design, which can be seen as being a smaller part of the interaction design process, is generally overlooked. Our goals are to develop various methods, some being inspired by performing arts practices, and to discuss the multicultural aspects of gesture design.
2016
This paper describes an interactive installation that invites participants to improvise with an autonomous virtual actor. Based on real-time analysis of the participant’s gestures, the virtual actor is capable of either propose expressive and linguistic gestures (selected from a set of four Motion Capture Databases), either imitate the participant, or either generate its own gestures using a Genetic Algorithm. A software agent is used to trigger the previously mentioned behaviors based on the analysis results and on a set of predefined rules. The installation is presented in two acts: i. In the first act, the participant interacts with the projected shadow of the virtual actor; ii. In the second act, the participant is being immersed in a 3D world using a virtual reality HMD—the virtual actor is being presented to her/him in the form of an avatar made of particles.
Here, hands don’t beat the drum. Instead the drum speaks with its hands, projected onto its skin. They interact and create poems in sign language, especially for the deaf/hearing impaired, because the drum has acquired the expressive and prosodic gestures of deaf poets. This installation is based on a Virtual Reality Agent-based platform to explore an interactive gestural dialogue between real and virtual actors.
We are looking for something primitive: a memory from before our birth. Something obvious, we all carry and that evolves within us: the first gestures of the first men. Between art, science and technology, our research tends to a virtual scene of rock art in action. Assuming that the cave paintings are the traces of oral performance or dance rites, they have been used as transmission and communication media for the knowledge of surrounding and environments of the early men (hunting, myth, history, art or religious content, shamanism). Through the scope of these fragmentary traces of history, we are seeking to reconstruct various performative scenarios echoing the paintings of the Chauvet’s cave.
This paper describes the process of designing a Virtual Reality Agent-based platform to explore an interactive gestural dialogue between real and virtual actors and propose an analysis of the results. It is part of an interdisciplinary project involving researchers in the fields of linguistics, digital arts and computer science, as well as actors and professors. Several experiments of improvisation conducted with actors through computer-mediated interactions help in characterizing specific dynamics of gestures, recurrent behaviors and gestural patterns. We extract specific descriptors of movement and behaviors that will drive the improvisation. The virtual actor is able to improvise and generate its gestures using a finite state machine that triggers three main behaviors according to the actor’s body posture and arm movements: the virtual actor can mime in real-time the real actor, it can propose expressive or linguistic gestures from four MoCap databases, or it can generate a new gesture using a genetic algorithm. A first installation experienced by the participants during at an international art festival, shows they are able to improvise fluently with the virtual actor in a rich and expressive dialogue.
2015
CIGALE, Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs, développe un dispositif artistique et scientifique mettant en œuvre une interaction gestuelle entre un humain et une entité virtuelle. Quatre bases de données gestuelles d’une grande diversité sémiotique ont été enregistrées par capture de mouvement. La capture du mouvement implique son ‘décollement’ du support corporel et de l’espace qui participent au sens des gestes. Un générateur paramétrable appliqué aux gestes (gestes virtuels par algorithme génétique) complète les bases de données de gestes. Des expérimentations d’interactions ont permis de modéliser des comportements en usage dans un dialogue gestuel et de les implémenter dans le moteur de comportement de l’entité virtuelle. Ces va-et-vient dialogiques entre corps réel, extraction, inscription et ex-cription du sens dans l’interaction avec une entité virtuelle, interrogent l’ontologie même d’un avatar.
2013
In this paper we study the memorization of user created gestures for 3DUI. Wide public applications mostly use standardized gestures for interactions with simple contents. This work is motivated by two application cases for which a standardized approach is not possible and thus user specific or dedicated interfaces are needed. The first one is applications for people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is creative arts applications, for which gesture freedom is part of the creative process. In this work, users are asked to create gestures for a set of tasks, in a specific phase, prior to using the system. We propose a user study to explore the question of gesture memorization. Gestures are recorded and recognized with a Hidden Markov Model. Results show that it seems difficult to recall more than two abstract gestures. Affordances strongly improve memorization whereas the use of colocalization has no significant effect.
Journals
2019
JEGO Jean-François, Mi-Mime, Mi-Mixte : Hybridation De L’art Du Mime Et De La Réalité Mixte. Revue des Arts et Technologies de l’image n°6, 2019
Selon Marcel Marceau, « L’art du mime […] consiste à rendre visible l’invisible et l’invisible visible » (Marceau, 1992). La réalité virtuelle permet à l’homme de s’immerger et d’interagir avec un univers impalpable, mais visible. Que se passe-t-il lorsque le mime se trouve dans un système de réalité virtuelle qui joue sur les perceptions et l’ambiguïté du réel et du virtuel ? Une interaction qui se construit le temps du spectacle en fonction de la réaction du système et des actions non prédéfinies produit-elle un nouveau type d’improvisation ou de jeu d’acteur ? Que provoque cette hybridation chez le spectateur ? Nous présentons notre projet de recherche IAM4Mime, une pantomime en six actes qui croise l’art du mime et la réalité mixte (Milgram & Colquhoun, 1999) qui combine les réalités virtuelle et augmentée dans un théâtre d’ombres réelles et virtuelles. Son élaboration a réuni un mime Marceau et des créateurs en scénographie interactive. L’acteur mime, équipé d’un système de capture de mouvements en temps réel, est en mesure d’interagir avec l’environnement virtuel dont la silhouette est rétroprojetée sur un paravent modulable. Cette modularité permet de reconfigurer l’espace de chaque scène. Le spectateur est invité à découvrir l’univers d’un mime à la recherche de son double virtuel dans un décor surréaliste fait d’illusions. Dans une première partie, nous exposons le processus création de cette pantomime, du scénario à la construction du support de projection. Nous détaillons comment l’intégration des effets visuels et des objets virtuels et réels, et les expérimentations ont fait évoluer le scénario, par choix esthétiques, par contraintes scéniques et même par artéfacts informatiques. Nous questionnons enfin la notion d’environnements réel, augmenté ou virtuel du point de vue de l’acteur qui circule à travers ces univers selon le fil narratif de la pantomime.
2009
RubikHome propose de jouer sur la proprioception et la conscience de son propre corps pour interagir par proximité aux objets d’un appartement virtuel. Le principe est de composer une symphonie visuelle dans un environnement virtuel reprenant les codes du quotidien. La simple proximité du corps permet de faire nuancer la configuration des objets et des pièces d’un appartement virtuel. Cette expérience questionne aussi la notion de présence en environnement virtuel, l’utilisateur impliqué en virtuel ayant la sensation de vivre une expérience dans l’appartement virtuel plutôt que dans la pièce réelle.
Conferences articles
2015
Un corps numérisé, mis en scène et restitué en temps réel par des dispositifs de réalité virtuelle peut être communément assimilé à une perte de densité, de corporéité, ou d’identité par rapport au jeu de l’acteur réel. La chair de synthèse, le plus souvent révélée par l’image, lui attribue un caractère immatériel qui ne permet pas de contact ou ressenti physique, haptique ou charnel. L’enjeu actuel reste de redonner aux corps synthétiques épaisseur et caractère. À travers l’étude de deux mises en scène, qui croisent le jeu d’acteurs réel et de synthèse, nous voyons émerger trois critères essentiels pour redonner une densité au numérique : identité, présence, interaction. De ces trois points, nous notons que l’association du jeu de l’acteur réel avec celui de l’être virtuel ainsi caractérisé permet l’émergence de situations singulières et empathiques construites le temps du spectacle.
2011
La pièce que présente Jean François Jégo est une interprétation par Sophie Lavaud du tableau Rouge, Jaune, Bleu de Wassily Kandinsky datant de 1925. L’objectif de l’auteur est de rendre le tableau dynamique, et ce par la modélisation en 3D des éléments qui le composent. Le spectateur interagit avec ces éléments et les déplace dans le tableau afin de créer sa propre composition. L’œuvre s’expérimente selon trois niveaux proxémiques, et les éléments du tableau disposent de comportements autonomes. Ils sont soumis à des forces d’élasticité, d’équilibre ou de ressort entre eux ainsi que d’une inertie individuelle. L’utilisateur ne peut prévoir quel sera le point d’arrivée de l’élément qu’il va déplacer. Les mécanismes de commandes sont eux, interactifs, et demandent un certain apprentissage de l’œuvre. Les échanges portent sur la circulation et l’équilibre des rôles entre les mécanismes de commandes interactifs et les comportements autonomes.
Dissertations
2013
In this thesis, we propose and evaluate new gestural interfaces for 3DUI. This work is motivated by two application cases: the first one is dedicated to people with limited sensory-motor abilities for whom generic interaction methods may not be adapted. The second one is artistic digital performances, for which gesture freedom is part of the creative process. For those cases, a standardized approach is not possible and thus user-specific or dedicated interfaces are needed. We propose a user-defined gestural interaction that allows the user to make the system learn the gestures that he has created, in a specific phase, prior to using the system. Then, the user reuses his created gestures to interact in the virtual environment. This approach raises research questions about memorization of gestures, effects of fatigue and effects of visual feedbacks. To answer those questions, we study the memorization of user created gestures regarding the role of affordances and colocalization on gesture recall. Then, we study the role of different visual feedbacks on gesture repetitions for a set of manipulation tasks. We also compare full-collocated gestures to loose gestures with lower amplitude. Also, the approach has been designed to be affordable using low-cost devices. We explore solutions to deal with the lower data quality of such devices. The results of the user-studies are based on the analysis of six thousand gestures performed by forty subjects.
2010
This thesis deals with the setup of a technical device dedicated to an interactive set design for performing arts. Featuring Dimitri Rekatchevski, mime artist, a six scenes pantomime (mime theatrical performance) has been created. The actor is tracked by a motion capture system in real time, this adds a new dimension for the performance: the interactivity. The actors and the elements are visible from the public behind a folding screen which receives the video projection of the black shape of the actor and the virtual accessories. We will discuss about the relationships and conversation’s interfaces between real and virtual elements, with an approach focused on the actor.