Sistem Deteksi Tangan Untuk Bahasa Isyarat
DOI:
https://doi.org/10.29407/b768zz71Keywords:
bahasa isyarat, CNN, ResNet50, SIBI, visi komputerAbstract
Bahasa isyarat merupakan sarana komunikasi utama bagi penyandang tunarungu dan tunawicara, namun keterbatasan pemahaman masyarakat umum terhadap bahasa isyarat masih menjadi kendala dalam interaksi sehari-hari. Penelitian ini bertujuan untuk mengembangkan sistem deteksi tangan bahasa isyarat Indonesia (SIBI) berbasis visi komputer menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur ResNet50. Dataset yang digunakan berasal dari Kaggle dan terdiri atas 5.280 citra gestur tangan abjad A–Z. Tahapan penelitian meliputi preprocessing citra berupa resize, normalisasi, serta augmentasi data, kemudian dilanjutkan dengan pelatihan dan pengujian model menggunakan skema pembagian data latih dan uji. Evaluasi kinerja model dilakukan menggunakan metrik akurasi, presisi, recall, dan F1-score. Hasil pengujian menunjukkan bahwa model ResNet50 mampu melakukan klasifikasi gestur tangan SIBI dengan akurasi sebesar 78,22%, presisi 78,70%, recall 78,22%, dan F1-score 78,14%. Tren peningkatan akurasi dan penurunan loss yang stabil selama pelatihan menunjukkan kemampuan generalisasi model yang cukup baik tanpa indikasi overfitting signifikan. Hasil penelitian ini membuktikan bahwa penerapan CNN dengan arsitektur ResNet50 memiliki potensi sebagai dasar pengembangan sistem bantu komunikasi berbasis teknologi inklusif di Indonesia.
Downloads
References
[1] Kementerian Pendidikan dan Kebudayaan Republik Indonesia, Kamus Sistem Isyarat Bahasa Indonesia (SIBI). Jakarta: Kemendikbud, 2017.
[2] R. S. Suryani dan A. Pratama, “Perbandingan Sistem Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO) dalam Pembelajaran,” Jurnal Pendidikan Khusus, vol. 15, no. 2, pp. 85–94, 2020.
[3] M. A. Nugroho dan D. P. Wibowo, “Pengenalan Bahasa Isyarat Menggunakan Metode Convolutional Neural Network,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 3, pp. 412–419, 2021.
[4] P. Swarnalatha, K. Rajesh, dan S. Kumar, “Hand Gesture Recognition Using Deep Learning and ResNet50 Architecture,” International Journal of Computer Vision and Image Processing, vol. 12, no. 1, pp. 33–41, 2025.
[5] E. Prasetyo dan D. Mahendra, Pengolahan Citra Digital dan Penerapannya. Yogyakarta: Andi Publisher, 2022.
[6] A. Salsabil, N. Aulia, dan M. Firmansyah, “Analisis Pengaruh Pencahayaan dan Latar Belakang terhadap Akurasi Klasifikasi Citra,” Jurnal Sistem Cerdas, vol. 4, no. 2, pp. 88–96, 2024.
[7] A. Bintang, “SIBI Hand Sign Dataset,” Kaggle, 2023. [Online]. Tersedia: https://www.kaggle.com/datasets/alvinbintang/sibi-dataset
[8] S. Siregar, H. Nasution, dan M. Harahap, “Penerapan Augmentasi Data pada Klasifikasi Citra Menggunakan CNN,” Jurnal Ilmu Komputer dan Informatika, vol. 7, no. 1, pp. 55–63, 2022.
[9] Y. LeCun, L. Bottou, Y. Bengio, dan P. Haffner, “Gradient-Based Learning Applied to Document Recognition,” Proceedings of the IEEE, vol. 86, no. 11, pp. 2278–2324, 1998.
[10] K. He, X. Zhang, S. Ren, dan J. Sun, “Deep Residual Learning for Image Recognition,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770–778, 2016.
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Mochamad Risqi Andriansyah, Andi Muhammad Dwi Kurniawan
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Authors who publish with this journal agree to the following terms:
- Copyright on any article is retained by the author(s).
- The author grants the journal, right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgment of the work’s authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal’s published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgment of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work.
- The article and any associated published material is distributed under the Creative Commons Attribution-ShareAlike 4.0 International License
