بحث · AR + IoT

لمّا انتقلت الدروس إلى الإنترنت أيام كوفيد، وقع أساتذة الموسيقى في مشكلة حقيقية: لا يمكن فعلًا تعلّم البيانو من كاميرا حاسوب. مع HoloKeys، يستطيع الأستاذ أن يعزف فعليًا على بيانو التلميذ من أي مكان.
يضع الأستاذ نظارة Magic Leap فتظهر أمامه نسخة هولوغرافية من بيانو التلميذ. يعزف عليها بيديه، وكل مفتاح يضغطه بأصابعه يُرسَل عبر الإنترنت إلى بيت التلميذ، حيث تضغط محرّكات سيرفو صغيرة مثبّتة على المفاتيح الحقيقية نفس النوتات. يرى التلميذ العزف ويسمعه على لوحة مفاتيحه، تمامًا كدرس حضوري.
تُثبَّت المشابك على أي لوحة مفاتيح دون أي تغيير دائم، وكل الجهاز في جهة التلميذ رخيص ويتّصل عبر الواي فاي. موّلت المشروعَ منحةٌ من كلية الفنون بجامعة فلوريدا.
قدّمناه في ACM VRST 2021 في أوساكا باليابان، وصار أكثر أوراقي البحثية استشهادًا. يسعدني كثيرًا أن الباحثين في تعليم الموسيقى والواقع المختلط ما زالوا يبنون عليه! أنجزته مع أوستن ستانبوري والدكتورة هيو جونغ كانغ في معهد Digital Worlds Institute.
لنعمل معًا
يسعدني أن أسمع عنها! سواء أردتم مسح مجموعة أو بناء شيء بتقنية XR، لنتحدث.