Axe 1 : Expérimentations sur les réalités virtuelles multisensorielles dans le domaine des arts visuels

  • Responsables : Annie Luciani (ICA), Daniel Barthélemy (EESI)
  • Participants Arts Visuels : Matthieu Evrard (ICA), Gilles Bollaert (EESI)
  • Participants RV temps réel : Jean-Loup Florens (ICA)
  • Suivi actif pour les arts musicaux : Olivier Tache (ICA), Claude Cadoz (ICA) 

A partir d’expérimentations et d’observations des comportements de sujets humains autour du simulateur à retour d’effort TELLURIS, développé par le groupe ACROE – Laboratoire ICA, les travaux menés dans cet axe s’intéressent aux décadrages émotionnels, cognitifs, culturels et artistiques induits par les notions de virtualité et par l’introduction d’une matérialité simulée dans la relation à l’ordinateur. En confrontant dans un même contexte des situations où le corps et l’instrumentalité sont mis en jeu par le biais de la simulation à retour d’effort, et d’autres où ils sont au contraire supplantés par une médiation purement informationnelle, il s’agit de mieux cerner la notion d’instrumentalité, d’étudier ses relations avec le corps, et d’expliciter le rôle – voire la nécessité – de l’un et de l’autre dans le processus de création.

Ces travaux partent, pour les expliciter et les approfondir, de réactions et de questionnements survenus dans le cadre d’ateliers pédagogiques et de création par des enseignants et des étudiants de l’EESI, réalisés sur la plate-forme TELLURIS. Il s’agissait de réintroduire de la matérialité et de l’interaction corporelle dans la manipulation d’espaces et d'objets virtuels, à l’aide du retour d’effort et de la modélisation physique, réintroduction qui provoque couramment des réactions très fortes auprès des utilisateurs.

De nouvelles expérimentations sont donc menées dans le cadre du projet CREA, avec un dispositif d’enregistrement permettant une observation systématique des premières réactions des participants face à cette expérience sensorielle inédite, afin d’évaluer les mutations qui peuvent en découler dans le processus de création.

Description des expérimentations

Ces expérimentations se basent sur un certain nombre de scénarios de réalités virtuelles présentés sur TELLURIS. Il s’agit de scènes virtuelles disposant de dialogues interactifs qui donnent aux sujets expérimentateurs la possibilité de commenter leurs expériences. Les scènes expérimentées seront les suivantes :

  • La boîte de cailloux. L'utilisateur manipule un ensemble de petits cailloux virtuels dans un environnement confiné. Il a la possibilité de les percevoir de plusieurs manières (visuelle, sonore et tactile) et chaque modalité sensorielle peut faire l’objet de plusieurs représentations.
  • Coopération Physique Réel - Virtuel. Deux instrumentistes jouent d'un instrument virtuel élémentaire (un percuteur frappant une surface). Les deux percuteurs sont reliés par une interaction élastique, par conséquent les gestes des instrumentistes s'influencent mutuellement.
  • Approche - Retrait. L'utilisateur manipule une pointe virtuelle pouvant entrer en contact avec une surface. La nature très particulière de la relation entre les deux objets, dérivée des interactions observées à l'échelle nanométrique et caractérisée par une attraction complexe avec effet d'hystérésis, interroge les notions de contact et de forme des objets.
  • Collé - glissé. L'utilisateur manipule un "archet virtuel" en frottement sur une corde. Aucun son n'étant produit, il s'agit de voir d'une part s'il est possible pour les utilisateurs d'identifier la scène en l'absence d'indice sonore, et d'autre part si, une fois cette identification éventuellement effectuée, un son est spontanément entendu ou imaginé.
D'autres scènes pourront venir compléter cette première liste, portant sur différents thèmes:
  • La dualité entre le contour optique et le contour haptique des objets.
  • L'incorporation de mouvements à travers le retour d'effort.
  • La perception de situations d'équilibre et de déséquilibre à travers le retour d'effort.