بحث · AR + IoT

HoloKeys

لمّا انتقلت الدروس إلى الإنترنت أيام كوفيد، وقع أساتذة الموسيقى في مشكلة حقيقية: لا يمكن فعلًا تعلّم البيانو من كاميرا حاسوب. مع HoloKeys، يستطيع الأستاذ أن يعزف فعليًا على بيانو التلميذ من أي مكان.

يضع الأستاذ نظارة Magic Leap فتظهر أمامه نسخة هولوغرافية من بيانو التلميذ. يعزف عليها بيديه، وكل مفتاح يضغطه بأصابعه يُرسَل عبر الإنترنت إلى بيت التلميذ، حيث تضغط محرّكات سيرفو صغيرة مثبّتة على المفاتيح الحقيقية نفس النوتات. يرى التلميذ العزف ويسمعه على لوحة مفاتيحه، تمامًا كدرس حضوري.

تُثبَّت المشابك على أي لوحة مفاتيح دون أي تغيير دائم، وكل الجهاز في جهة التلميذ رخيص ويتّصل عبر الواي فاي. موّلت المشروعَ منحةٌ من كلية الفنون بجامعة فلوريدا.

قدّمناه في ACM VRST 2021 في أوساكا باليابان، وصار أكثر أوراقي البحثية استشهادًا. يسعدني كثيرًا أن الباحثين في تعليم الموسيقى والواقع المختلط ما زالوا يبنون عليه! أنجزته مع أوستن ستانبوري والدكتورة هيو جونغ كانغ في معهد Digital Worlds Institute.

باختصار

  • الفريق: أوستن ستانبوري، إيناس سعيد والدكتورة هيو جونغ كانغ، جامعة فلوريدا
  • الأدوات: Unity، تتبّع اليدين في Magic Leap، PubNub، ESP8266، محرّكات سيرفو
  • النشر: ACM VRST 2021، أوساكا · استُشهد بها 18 مرة
  • التمويل: UF College of the Arts Strategic Opportunity Fund

روابط

شاهدوا

HoloKeys في ACM VRST 2021
→ كل المشاريع

لنعمل معًا

عندكم فكرة مشروع؟

يسعدني أن أسمع عنها! سواء أردتم مسح مجموعة أو بناء شيء بتقنية XR، لنتحدث.