Implementasi Deteksi Bahasa Isyarat Tangan Menggunakan OpenCV dan MediaPipe

Abdul Riqza Ardiansyah; Achmad Hasyim Nur’azizan; Rasio Fernandis

Authors

Abdul Riqza Ardiansyah Universitas Nusantara PGRI Kediri
Achmad Hasyim Nur’azizan Universitas Nusantara PGRI Kediri
Rasio Fernandis Universitas Nusantara PGRI Kediri

Keywords:

Bahasa Isyarat Tangan, Machine Learning, MediaPipe

Abstract

Bahasa Isyarat yaitu bahasa yang menggunakan isyarat untuk komunikasi manual, biasanya menggunakan tubuh, dan gerak bibir. Bahasa isyarat bahasa yang digunakan oleh orang Tuli untuk berkomunikasi. Untuk orang yang belum bisa mengenal bahasa isyarat pastinya kebingungan untuk mempraktikkannya, maka diperlukan sebuah sistem untuk pembelajaran bahasa isyarat. OpenCV merupakan perkembangan teknologi yang ada pada saat ini, penggunaan OpenCV ini bertujuan untuk belajar bahasa isyarat secara langsung dan MediaPipe adalah Library pelatihan pengenalan pola tangan untuk klasifikasinya menggunakan metode Support Vector Machine (SVM), dengan mengetahui pola tangan secara real time tidak perlu lagi menggunakan gambar untuk mengetahui hasil yang didapat. Pada penelitian ini didapatkan hasil dari pengujian secara real time dihasilkan f1 score 0.9875 , recall 0.9875, dan hasil precision 0.9875, dengan jumlah data sebanyak 400 dataset citra dan pengujian secara real time.

Downloads

Download data is not yet available.

References

V. Kissya, ‘Penggunaan Bahasa Isyarat Dalam Komunikasi Antara Penyandang Tuna Rungu, Guru, Serta Keluarga Di (Sekolah Luar Biasa Pelita Kasih) Rumah Tiga Ambon’, Hipotesa - Jurnal Ilmu-Ilmu Sosial, vol. 16, no. 1, Art. no. 1, May 2022.

S. Rosalind and C. Siahaan, ‘EFEKTIVITAS PENGGUNAAN BAHASA ISYARAT DALAM PELAYANAN PELANGGAN DI COFFE SHOP OLEH KARYAWAN DENGAN PENYANDANG DISABILITAS TUNARUNGU’, JURNAL ComunitÃ Servizio : Jurnal Terkait Kegiatan Pengabdian kepada Masyarakat, terkhusus bidang Teknologi, Kewirausahaan dan Sosial Kemasyarakatan, vol. 4, no. 1, Art. no. 1, Apr. 2022, doi: 10.33541/cs.v4i1.3837.

hidayat farid, ‘PERSEPSI GURU DAN PUSTAKAWAN SLB NEGERI 1 SUNGAI PAGU TERHADAP DEPRIVASI INFORMASI BAGI SISWA TULI’, vol. 4, no. 1, pp. 1–12, Jan. 2023, doi: https://doi.org/10.24036/ib.v4i1.359.

C. T. K. R. Mocodompis, ‘IMPLEMENTASI BAHASA ISYARAT DALAM AKTIVITAS PELAYANAN BARISTA KAFE SUNYI GRAND GALAXY CITY’, Prosiding Konferensi Nasional Sosial dan Politik (KONASPOL), vol. 1, no. 0, Art. no. 0, Jan. 2023, doi: 10.32897/konaspol.2023.1.0.2373.

R. H. Alfikri, M. S. Utomo, H. Februariyanti, and E. Nurwahyudi, ‘PEMBANGUNAN APLIKASI PENERJEMAH BAHASA ISYARAT DENGAN METODE CNN BERBASIS ANDROID’, Jurnal Teknoinfo, vol. 16, no. 2, Art. no. 2, Jul. 2022, doi: 10.33365/jti.v16i2.1752.

Suharjito, N. Thiracitta, and H. Gunawan, ‘SIBI Sign Language Recognition Using Convolutional Neural Network Combined with Transfer Learning and non-trainable Parameters’, Procedia Computer Science, vol. 179, pp. 72–80, 2021, doi: 10.1016/j.procs.2020.12.011.

M. F. Naufal and S. F. Kusuma, ‘Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI)’, JTIIK, vol. 10, no. 4, pp. 873–882, Aug. 2023, doi: 10.25126/jtiik.20241046823.

M. Sholawati, K. Auliasari, and F. Ariwibisono, ‘PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN)’, JATI (Jurnal Mahasiswa Teknik Informatika), vol. 6, no. 1, Art. no. 1, Mar. 2022, doi: 10.36040/jati.v6i1.4507.

N. Jawas, ‘PELACAKAN GERAKAN TANGAN UNTUK PENGENALAN GERAK-ISYARAT’, IT (INFORMATIC TECHNIQUE) JOURNAL, vol. 5, no. 1, Art. no. 1, May 2018, doi: 10.22303/it.5.1.2017.13-23.

R. A. Mursita, ‘RESPON TUNARUNGU TERHADAP PENGGUNAAN SISTEM BAHASA ISYARAT INDONESA (SIBI) DAN BAHASA ISYARAT INDONESIA (BISINDO) DALAM KOMUNIKASI’, INKLUSI, vol. 2, no. 2, Art. no. 2, Dec. 2015, doi: 10.14421/ijds.2202.

G. Gumelar, H. Hafiar, and P. Subekti, ‘BAHASA ISYARAT INDONESIA SEBAGAI BUDAYA TULI MELALUI PEMAKNAAN ANGGOTA GERAKAN UNTUK KESEJAHTERAAN TUNA RUNGU’, j.info, vol. 48, no. 1, p. 65, Jul. 2018, doi: 10.21831/informasi.v48i1.17727.

M. Mujib, ‘Komunikasi Matematis Siswa Tunarungu dalam Pembelajaran Matematika Didasarkan pada Teori Schoenfeld’, Al-Jabar : Jurnal Pendidikan Matematika, vol. 7, no. 1, Art. no. 1, Jun. 2016, doi: 10.24042/ajpm.v7i1.136.

L. A. S. Lapono, F. R. Ngana, B. Bernandus, and A. B. S. Umbu, ‘STUDI AWAL RANCANG BANGUN PENDETEKSI GERAK PADA LEKUKAN JARI TANGAN’, Jurnal Fisika : Fisika Sains dan Aplikasinya, vol. 7, no. 1, Art. no. 1, Apr. 2022.

R. Fadli, H. Syaputra, H. Mirza, and N. Oktaviani, ‘Perancangan Artificial Intelegence Hand Tracking menggunakan Algoritma Pyramidal Lucas-Kanade Optical Flow’, Jurnal Pendidikan dan Konseling (JPDK), vol. 4, no. 4, Art. no. 4, Aug. 2022, doi: 10.31004/jpdk.v4i4.5819.

T. Yudhianto, ‘APLIKASI PETA TIGA DIMENSI KAMPUS UNIVERSITAS WIDYATAMA’, Universitas Widyatama, 2014. Accessed: Dec. 10, 2023. [Online]. Available: http://repository.widyatama.ac.id/handle/123456789/8271

M. Maryamah, M. A. Pratama, M. R. Erfit, N. M. Farhani, and I. A. Hartono, ‘Klasifikasi Abjad SIBI (Sistem Bahasa Isyarat Indonesia) menggunakan Mediapipe dengan Metode Deep Learning’, PROSIDING SEMINAR NASIONAL SAINS DATA, vol. 3, no. 1, Art. no. 1, Nov. 2023, doi: 10.33005/senada.v3i1.102.

S. N. Budiman, ‘Peramalan Stock Barang Dagangan Menggunakan Metode Single Exponential Smoothing’, Peramalan Stock Barang Dagangan Menggunakan Metode Single Exponential Smoothing, vol. 7, no. 2, Art. no. 2, Nov. 2021.

N. P. R. Sukmadewi, ‘PROBLEM-BASED LEARNING (Konsep Ideal Model Pembelajaran dalam Peningkatan Mutu Prestasi Belajar dan Motivasi Berprestasi Masa Pandemi Covid 19)’, PINTU: Jurnal Penjaminan Mutu, vol. 2, no. 1, Art. no. 1, Jun. 2021, Accessed: Dec. 10, 2023. [Online]. Available: https://www.jurnal.stahnmpukuturan.ac.id/index.php/jurnalmutu/article/view/1326

R. L. Putri, ‘Peningkatan Kualitas Produk Melalui Penerapan Prosedur dan Sistem Produksi: Studi Pada UD Wijaya Kusuma Kota Blitar’, Wahana Riset Akuntansi, vol. 4, no. 2, Art. no. 2, Oct. 2016, doi: 10.24036/wra.v4i2.7223.

M. U. Naja, ‘TA : Rancang Bangun Pendeteksi Golongan Darah Menggunakan Metode Component Labelling’, undergraduate, Institut Bisnis dan Informatika Stikom Surabaya, 2017. Accessed: Dec. 10, 2023. [Online]. Available: https://repository.dinamika.ac.id/id/eprint/2752/

S. N. Budiman, S. Lestanti, S. M. Evvandri, and R. K. Putri, ‘PENGENALAN GESTUR GERAKAN JARI UNTUK MENGONTROL VOLUME DI KOMPUTER MENGGUNAKAN LIBRARY OPENCV DAN MEDIAPIPE’, Antivirus : Jurnal Ilmiah Teknik Informatika, vol. 16, no. 2, Art. no. 2, Nov. 2022, doi: 10.35457/antivirus.v16i2.2508.

R. Samsinar, G. G. Aditya, D. Almanda, F. Fadliondi, F. Amrulloh, and A. I. Ramadhan, ‘Sistem Pendeteksi Kurir Menggunakan Smart Closed Circuit Television (CCTV) Berbasis Internet Of Things (IoT) dengan Media Komunikasi Bot Telegram (Studi Kasus : Rumah Indekost)’, RESISTOR (Elektronika Kendali Telekomunikasi Tenaga Listrik Komputer), vol. 6, no. 1, Art. no. 1, May 2023, doi: 10.24853/resistor.6.1.47-54.

A. Darmawan, ‘Aplikasi Hand Gesture Recognition Sebagai Media Penerjemah Bahasa Isyarat Berbasis Android’, other, Universitas Komputer Indonesia, 2021. doi: 10/UNIKOM_AgusDarmawan_10115358_Bab4.pdf.

A. G. Amrulloh, B. Dirgantoro, and A. N. Jati, ‘Implementasi Pendeteksi Gerak Manusia Dengan Sensor Passive Infra-Red (Pir) Sebagai Kontrol Arah Kamera Dan Sistem Pengendali Kunci Pintu Dan Jendela Menggunakan Mikrokontroler’, eProceedings of Engineering, vol. 2, no. 1, Art. no. 1, Apr. 2015, Accessed: Dec. 11, 2023. [Online]. Available: https://openlibrarypublications.telkomuniversity.ac.id/index.php/engineering/article/view/2049

A. Roihan, N. Rahayu, and D. S. Aji, ‘Perancangan Sistem Kehadiran Face Recognition Menggunakan Mikrokomputer Berbasis Internet of Things’, Technomedia Journal, vol. 5, no. 2 Februari, pp. 155–166, 2021, doi: 10.33050/tmj.v5i2.1373.

Y. Yusuf, N. Ramdijanti, and S. Setiawardhana, ‘Pembuatan Game Puzzle dengan Gerakan Tangan dan Perintah Suara’, EEPIS Final Project, 2010, Accessed: Dec. 10, 2023. [Online]. Available: http://eepis-its.edu

H. Hendy, ‘Implementasi Jaringan Syaraf Tiruan dengan Algoritma Genetika pada Pengenalan Iris Mata’, skripsi, Prodi Teknik Infomatika, 2022. Accessed: Dec. 10, 2023. [Online]. Available: http://repository.upbatam.ac.id/2532/

V. S. Aryadi, R. Wulanningrum, and P. Kasih, ‘Implementasi Fuzzy Logic Identifikasi Gesture Tangan Untuk Deteksi Kerusuhan’, STAINS (SEMINAR NASIONAL TEKNOLOGI & SAINS), vol. 1, no. 1, Art. no. 1, Feb. 2022.

R. F. Waliulu, ‘Deteksi dan Penggolongan Kendaraan dengan Kalman Filter dan Model Gaussian di Jalan Tol’, J. Sistem Info. Bisnis, vol. 8, no. 1, p. 1, Apr. 2018, doi: 10.21456/vol8iss1pp1-8.

A. Rezky, A. Bagir, D. Pamerean, and F. Makhrus, ‘Deteksi Kecelakaan Lalu Lintas Otomatis Pada Rekaman CCTV Indonesia Menggunakan Deep Learning’, Buletin Pagelaran Mahasiswa Nasional Bidang Teknologi Informasi dan Komunikasi, vol. 1, no. 1, Art. no. 1, Oct. 2023.

L. N. HILDA, ‘RANCANG BANGUN PENYANGGA SMARTPHONE DENGAN PENGATURAN POSISI OTOMATIS’, diploma, Universitas Andalas, 2022. Accessed: Dec. 11, 2023. [Online]. Available: http://scholar.unand.ac.id/117344/