Axe 2. Expérimentations sur les réalités virtuelles multisensorielles dans le domaine des arts musicaux

  • Responsables : Jean-Loup Florens (ICA), Marcelo Wanderley (IDMIL – McGill)
  • Participants : Stephen Sinclair ((IDMIL), Olivier Tache (ICA), Annie Luciani (ICA)

L’Axe 2 du projet CREA s’intéresse à une situation emblématique donnée : La possibilité d’agir directement et en toute « immatérialité » sur les objets temporels.

A partir d’expérimentations et d’observations menées sur des sujets humains sur la mise en œuvre d’un jeu musical virtuel, on interroge les différents types de relations entre l’action gestuelle et le son musical :

  1. L’importance de la relation énergétique entre le geste et le son, théorisée par l’ACROE sous le terme de relation ergotique (Cadoz 1999) et mise en œuvre via les techniques de retour d’effort et simulation ;
  2. La relation sémiotique entre le geste et le son théorisée et mis en œuvre via les techniques du mapping (Hunt et Wanderley, 2002) ;
  3. Les relations épistémiques geste-geste et geste-son.

Cette expérimentation a pour contexte technique une situation particulière mais néanmoins significative de jeu instrumental musical : produire un son musical de corde frottée. Plus spécifiquement, en utilisant la plateforme TELLURIS, nous simulons un modèle de violon virtuel utilisant différents algorithmes.

Possibilités de Simulation

Dans ce contexte, nous cherchons à obtenir une meilleure compréhension de l’importance des choix de la modélisation de situations instrumentales. Deux groupes principaux de méthodes de simulation existent :

  • Les stratégies de mapping, c’est-à-dire l’association arbitraire de paramètres entre l’interface et l’algrithme de simulation, sans continuité énergétique)
  • L’interaction instrumentale (ou ergotique), c’est-à-dire la correspondance directe entre la nature des variables de contrôle et celle des variables contrôlées (position / position, force / force). 

Pour pouvoir comparer les deux cas, l’approche adoptée est de partir de l’un pour aller vers l’autre, en cherchant à voir comment les deux peuvent se rejoindre :

  • Partir du mapping pur pour aller vers une situation instrumentale, par exemple en utilisant un retour d’effort (non-physique).
  • Partir de la situation instrumentale, en la « dégradant », par exemple en coupant le retour d’effort.

On utilise comme cas d’étude la simulation de la friction entre un archet et une corde vibrante, par exemple dans le cas du jeu d’un violon ou d’un violoncelle.

Directions de Recherche

Nous prévoyons de réaliser des expérimentations quantitatives et qualitatives sur différents modèles, spécifiquement ceux de l’ACROE et de l’IDMIL. Ces expérimentations auront la forme :

  • D‘évaluations quantitatives de l’interaction avec des modèles de mapping et ergotiques, modèles « purs » et « dégénérés », ainsi que modifiés physiquement, par exemple, en coupant le retour d’effort, et ajoutant de l’énergie au modèle physique simulé.
  • D’analyses qualitatives, par des annotations vidéo et audio et par l'analyse de questionnaires remplis par les sujets participants.

À partir du choix d’un trait musical particulier à exécuter, il s’agira de tester :

  • S’il existe des conditions instrumentales plus favorables à l’exécution de ce trait ;
  • S’il existe des conditions instrumentales plus favorables à l’apprentissage de ce trait;
  • Si les "styles cognitifs" a priori de sujets (musiciens, non-musiciens, plasticiens, graphistes, novices des réalités virtuelles) sont un handicap ou au contraire un avantage dans l’adaptabilité à la situation ;
  • Si les technologies proposées conduisent à un élargissement des postures créatives (nouveaux gestes, nouveaux sons) par rapport à la situation instrumentale de référence antérieure (frotter une corde réelle), et le cas échéant, pourquoi ?
  • En particulier, créativité et affordance sont-elles corrélées ou parfois en opposition ?

Méthodologie

Ce travail s'appuie sur les outils suivants :

  • Des enregistrements audiovisuels systématiques ;
  • L’enregistrement objectif des gestes effectués et des sons produits à partir de la simulation ;
  • La production d’un rapport personnel libre par chaque participant.