Sistem Klasifikasi Pola Citra dalam Deteksi Gestur Tangan Pelanggan Menggunakan Metode YOLOv8

Abstract

Penelitian ini bertujuan mengembangkan sistem deteksi dan klasifikasi gestur tangan pelanggan berbasis citra menggunakan algoritma YOLOv8 sebagai solusi otomatisasi dalam mendukung interaksi layanan tanpa sentuhan. Topik ini dipilih karena kebutuhan identifikasi gestur secara otomatis semakin penting, terutama untuk meningkatkan efisiensi komunikasi antara pelanggan dan pelayanan, sekaligus mengurangi sebuah masalah dikala tempat makan sedang ramai dengan kebisingan suara yang mengganggu interaksi pelanggan dan pelayanan. Metode penelitian menggunakan pendekatan waterfall, yang terdiri atas tahapan pengumpulan data, praproses citra, pelabelan, pemodelan, dan evaluasi. Dataset yang digunakan berjumlah 3.000 citra dengan tiga kelas gestur utama, yaitu konfirmasi, memesan, dan selesai. Proses pelabelan dilakukan melalui Roboflow agar format anotasi selaras dengan kebutuhan deteksi objek. Model YOLOv8 dilatih dan dievaluasi menggunakan metrik akurasi, precision, recall, serta nilai mean Average Precision. Hasil penelitian menunjukkan bahwa sistem mampu mengenali gestur tangan secara akurat dengan nilai akurasi rata-rata sebesar 92,33% dan capaian nilai mAP50 sebesar 0,855. Sistem juga mampu beroperasi secara real-time melalui antarmuka Streamlit dengan tingkat pemrosesan stabil. Hasil penelitian ini membuktikan bahwa pendekatan deteksi objek berbasis citra dapat mendukung identifikasi gestur pelanggan secara cepat, presisi, dan efisien, sehingga berpotensi diterapkan pada sistem pelayanan berbasis komputer visi.