HoloKeys

Quand les cours sont passés en ligne pendant le COVID, les professeurs de musique avaient un vrai problème : on ne peut pas vraiment apprendre le piano devant la caméra d'un ordinateur. Avec HoloKeys, un professeur peut jouer sur le piano de son élève, pour de vrai, depuis n'importe où.

Le professeur met un casque Magic Leap et une copie holographique du piano de l'élève apparaît devant lui. Il joue avec ses mains, et chaque touche qu'il pince est envoyée par internet chez l'élève, où de petits servomoteurs fixés sur les vraies touches jouent les mêmes notes. L'élève voit et entend la démonstration sur son propre clavier, comme dans un cours en personne.

Les pinces se fixent sur n'importe quel clavier sans rien modifier de façon permanente, et tout le matériel côté élève coûte peu et se connecte en wifi. Le projet a été financé par une bourse du College of the Arts de la University of Florida.

Nous l'avons présenté à ACM VRST 2021 à Osaka, au Japon, et c'est devenu mon article le plus cité. J'adore voir des chercheurs en éducation musicale et en réalité mixte continuer à s'en inspirer ! Je l'ai réalisé avec Austin Stanbury et Dr. Hyo Jeong Kang au Digital Worlds Institute.