Development of Augmented Reality (AR) BasedGamelan Simulation with Leap Motion Control

1. Development of
Augmented Reality
(AR) Based
Gamelan Simulation
with Leap Motion
Control
Sudirman Rizki Ariyanto

2. Pendahuluan
• Pada tahun 2018, jumlah pengguna smartphone global mencapai 2.53 miliar [1].
• Teknologi smartphone telah berkembang dengan dilengkapi berbagai sensor yang
memungkinkan integrasi dengan perangkat lain seperti Head Mounted Display (HMD)
dan Leap Motion.
• HMD mendukung teknologi Augmented Reality (AR) dan Virtual Reality (VR), digunakan
dalam berbagai aplikasi, mulai dari Pengontrol Aplikasi Android hingga pengenalan
aktivitas [2], [3].
• Leap Motion Controller, sebuah perangkat berbasis USB, memungkinkan pengguna
mengendalikan komputer melalui gerakan [4], [5].

3. Gambaran Proyek
• Gamelan, alat musik tradisional Indonesia, terdiri dari
Gong, Demung, Barung, Peking, dan Slen-them [7].
• Tantangan yang dihadapi: Kurangnya pemahaman dan
aksesibilitas karena kelangkaan dan harga tinggi alat
musik gamelan.
• Notasi gamelan direpresentasikan secara numerik, mirip
dengan notasi musik umum, namun terdapat perbedaan
dalam simulasi versus permainan nyata [8].
• Tujuan penelitian: Mengembangkan simulasi gamelan
berbasis AR dengan kontrol Leap Motion untuk
smartphone.
• Aplikasi bertujuan memberikan pengalaman yang
mendalam, termasuk suara, impresi visual dari alat
musik, dan panduan teknik bermain gamelan yang benar.

4. Storyboard
• Koneksi Leap Motion ke Komputer (server).
• Pemrosesan data oleh server dan pengiriman ke
smartphone melalui Wifi.
• Persiapan pengguna dengan HMD, Leap Motion,
dan smartphone.
• Pengguna duduk di depan penanda (marker)
untuk memulai simulasi.
• Gambaran pengguna setelah tahap sebelumnya.
• Deteksi marker dan tampilan objek gamelan 3D.
• Perspektif pengguna yang siap memainkan
simulasi gamelan.

5. System architecture
• Sistem arsitektur pada penelitian ini
diilustrasikan dalam Gambar 4.
• Leap Motion mengirimkan data ke
server.
• Server memproses data tersebut
sebelum mengirimkannya ke
smartphone melalui koneksi Wifi.
• Smartphone terhubung dengan
Head-Mounted Display (HMD).

6. Server
• Fungsi Server:
• Server digunakan untuk menerima dan memproses data gestur
yang dikirim oleh Leap Motion.
• Mengirim ulang data tersebut ke smartphone setelah diproses.
• Mengontrol palu 3D yang digunakan untuk memukul gamelan.
• Peran Utama Server:
• Proses sentral dalam mengelola data gestur.
• Bertindak sebagai perantara antara Leap Motion, smartphone,
dan palu 3D.
• Fitur Server Application:
• Menyertakan fitur layar dan tombol untuk interaksi.
• Mempresentasikan tampilan server application melalui
preview yang terdapat pada Fig. 5.

7. Menu Utama dan Navigasi
• Simulasi gamelan berbasis AR dengan
kontrol Leap Motion
• Tombol Menu Utama: Main,
Perpustakaan, Pengembang, Bantuan,
dan Keluar
• Fig. 6: Tampilan Menu Utama

8. Menu Utama dan Navigasi
• Menu Main: Tombol Saron, Tombol
Demung, Tombol Kembali
• Menu Perpustakaan: Deskripsi singkat
tentang gamelan (Gambar 7b)
• Menu Pengembang: Informasi tentang
pengembang simulasi gamelan
(Gambar 7c)
• Menu Bantuan: Instruksi penggunaan
aplikasi simulasi gamelan (Gambar 7d)

9. Proses Implementasi
• Proses perekaman untuk setiap nada dari gamelan sebagai sampel alat
musik
• Hasil rekaman digunakan sebagai aset untuk simulasi gamelan berbasis AR
• Leap Motion terhubung ke server dan menangkap data gestur tangan
• Server mengirim data gestur ke smartphone melalui jaringan wifi
• Aplikasi memindai penanda, merender objek 3D alat musik gamelan
(Gambar 8)
• Perspektif pengguna setelah deteksi penanda (Gambar 8)
• Implementasi simulasi gamelan yang dimainkan oleh pengguna (Gambar 9)

10. Experimental and Analysis
Augmented Reality
Tujuan Eksperimen:
• Mengukur parameter penting: cahaya, jarak, dan
sudut pada simulasi gamelan.
Parameter Cahaya:
• Memastikan dampak intensitas cahaya pada aplikasi.
• Meskipun intensitas rendah, marker tetap terdeteksi,
memungkinkan rendering.
Parameter Jarak dan Sudut:
• Lima pengguna diuji pada jarak dan ketinggian
tertentu.
• Keberhasilan tertinggi (100%) pada jarak 45-65 cm,
ketinggian 25-30 cm.
• Sudut (21,097° hingga 33,690°) kurang signifikan.

11. Usability
• Learnability: 77,6%,
• Efficiency: 89%,
• Memorability: 89,3%,
• Satisfaction: 84,8%,
• Error: 91,7%.
• Rata-rata usability dari simulasi
gamelan berbasis AR dengan
kendali Leap Motion adalah
86,48%.

12. Simpulan
•Jarak dan tinggi kamera smartphone dalam Head-Mounted Display (HMD) terhadap penanda sangat penting
untuk tingkat keberhasilan 100%.
•Eksperimen menunjukkan jarak optimal antara 45 cm hingga 65 cm dan tinggi antara 25 cm hingga 30 cm.
Parameter Optimal untuk Keberhasilan:
•Cahaya lampu dalam rentang 9 hingga 56 lux tidak signifikan memengaruhi kinerja simulasi gamelan berbasis AR.
Pengaruh Kondisi Pencahayaan:
•Evaluasi usabilitas melibatkan lima pengguna menunjukkan kinerja tinggi, dengan tingkat keberhasilan 91,7%
pada aspek kesalahan.
•Aspek pembelajaran mencetak skor terendah sebesar 77,6%, menekankan kebutuhan akan tutorial, khususnya
untuk pengguna yang tidak akrab dengan simulasi gamelan.
•Skor usabilitas rata-rata adalah 86,48%, menunjukkan kepuasan secara keseluruhan.
Evaluasi Usabilitas:

13. Terimakasih