Deteksi Bahasa Isyarat Berdasarkan SIBI (Sistem Bahasa Isyarat) menggunakan Transfer Learning

M. Bahrul Subkhi; Mochamad Yuda Trinurais; Ridho Kuncoro Adji Wibowo; Bryan Rizqi Prakosa

doi:10.29407/stains.v3i1.4347

Authors

M. Bahrul Subkhi Universitas Nusantara PGRI Kediri
Mochamad Yuda Trinurais Universitas Nusantara PGRI Kediri
Ridho Kuncoro Adji Wibowo Universitas Nusantara PGRI Kediri
Bryan Rizqi Prakosa Universitas Nusantara PGRI Kediri

DOI:

https://doi.org/10.29407/stains.v3i1.4347

Keywords:

SIBI, MobileNet, VGG16, Augmentasi

Abstract

Bahasa isyarat merupakan suatu bentuk komunikasi yang digunakan oleh individu yang memiliki keterbatasan seperti tunarungu dan tunawicara. Bahasa isyarat merupakan suatu bentuk komunikasi yang digunakan oleh individu yang memiliki keterbatasan seperti tunarungu dan tunawicara. Di Indonesia terdapat dua jenis bahasa isyarat yang digunakan yakni, Sistem Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO). Permasalahan dalam mengidentifikasi simbol dari gestur tangan bahasa isyarat SIBI secara efektif dengan memanfaatkan teknologi artificial intelligence yakni pengolahan citra dan pengenalan pola. Pernulis tertarik untuk mengidentifikasi kombinasi terbaik yang dapat memberikan tingkat akurasi deteksi yang optimal dan dapat memberikan kontribusi dalam memperbaiki dan mengembangkan sistem deteksi bahasa isyarat SIBI. Dengan menggunakan transfer learning, yaitu VGG16 dan MobileNet dengan dua skema tahap preprocessing. Skema pertama menerapkan augmentasi resize, sedangkan skema kedua menerapkan augmentasi resize, flip horizontal dan rotate. Hasil akurasi terbaik diperoleh dengan menggunakan MobileNet dengan nilai akurasi 98%, namun memiliki durasi waktu cukup lama dibanding dengan VGG16. VGG16 mendapatkan hasil nilai akurasi 86%, namun memiliki durasi waktu cukup cepat dibanding dengan Mobilenet. Hasil terbaik didapat dengan menggunakan menerapkan augmentasi hanya dengan resize, serta penelitian ini masih belum membandingkan dengan beberapa transfer learning lainnya.

Downloads

Download data is not yet available.

References

M. F. N. ,. V. R. P. ,. M. S. B. A. S Shania, "Translator of Indonesian Sign Language Video using Convolutional Neural Network with Transfer Learning," Indonesian Journal of Information Systems (IJIS), 2022.

R. Sutjiadi, "Android-Based Application for Real-Time Indonesian Sign Language Recognition Using Convolutional Neural Network," TEM Journal, 2023.

I. M. M. J. S. Pujianto Yugopuspito, "Mobile Sign Language Recognition for Bahasa Indonesia using Convolutional Neural Network," 2018.

E. R. Noer Fitria Putra Setyono, "Recognizing Word Gesture in Sign System for Indonesian Language (SIBI) Sentences Using DeepCNN and BiLSTM," IEEE, 2019.

D. R. A. N. I. B. R. S. D. H. C. Indra Jiwana Thira, "Pengenalan Alfabet Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Convolutional Neural Network," Jurnal Algoritma, 2023.

I. W. H. S. A. Muhammad Azka Imaddudin, "Simulasi Penerjemah SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Tensorflow Dan Convolutional Neural Network (CNN)," eProceedings of Engineering , 2022.

M. R. U. M. N. A. K. R. A. Md. Monirul Islam, "Recognizing multiclass Static Sign Language words for deaf and dumb people of Bangladesh based on transfer learning techniques," Informatics in Medicine Unlocked, 2022.

J. M. I. F. Y. S. S. Desy Putri Ayuni, "AUGMENTASI DATA PADA IMPLEMENTASI CONVOLUTIONAL NEURAL NETWORKARSITEKTUR EFFICIENTNET-B3UNTUK KLASIFIKASI PENYAKIT DAUNPADI," ZONAsi: Jurnal Sistem Informasi, 2023.

M. Z. B. C. D. K. W. W. T. W. M. A. H. A. Andrew G. Howard, "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," arXiv, 2017.

A. Z. Karen Simonyan, "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION," ICLR, 2015.

A. S. Rizki Windiawan, "Identifikasi Penyakit pada Daun Kopi Menggunakan Metode Deep Learning VGG16," Jurnal Explore IT!, 2021.