Identifikasi Tingkat Kesadaran Pengemudi dari Data Video dengan Menggunakan Convolutional Long Short Term Memory

Fajar Fatha Romadhan; Andrian Dwi Baitur Rizky; Muhammad Aulia Faqihuddin; Indah Agustien Siradjuddin

doi:10.29407/stains.v3i1.4104

Authors

Fajar Fatha Romadhan Universitas Trunojoyo Madura
Andrian Dwi Baitur Rizky Universitas Trunojoyo Madura
Muhammad Aulia Faqihuddin Universitas Trunojoyo Madura
Indah Agustien Siradjuddin Universitas Trunojoyo Madura

DOI:

https://doi.org/10.29407/stains.v3i1.4104

Keywords:

Convolutional, Data Video, Deteksi, Kantuk Pengemudi, Long Short Term Memory

Abstract

Mengemudi dalam keadaan tidak sadar atau mengantuk merupakan salah satu penyebab utama terjadinya kecelakaan lalu lintas. Meskipun demikian, penumpang biasanya tidak akan menyadari jika pengemudi kendaraan yang mereka kendarai dalam keadaan mengantuk. Untuk mendeteksi kantuk pengemudi pada umumnya adalah dengan menggunakan model pembelajaran mesin. Akan tetapi model pembelajaran mesin biasanya hanya dapat mengenali pola dari sebuah data tanpa memperhatikan deret waktu pada data sekuensial atau time series. Metode yang digunakan adalah Convolutional Long Short Term Memory. Convolutional Long Short Term Memory adalah salah satu bentuk Recurrent Neural Network yang dapat digunakan untuk mengatasi masalah korelasi deret waktu baik dalam waktu singkat maupun lama pada data spatial time series. Data yang digunakan adalah data yang berupa video dari seseorang yang sedang mengemudi. Data video merupakan data berurutan yang terdiri atas banyak frame yang berupa citra. Pada penelitian ini setiap frame tersebut dilakukan deteksi wajah untuk mendapatkan citra wajah pengemudi, sedangkan Convolutional Long Short Term Memory digunakan untuk mempelajari pola perubahan ekspresi wajah pengemudi seiring waktu. Hasil menunjukkan model memiliki akurasi sebesar 75% yang menunjukkan bahwa model memiliki kemampuan yang signifikan dalam memprediki kantuk pengemudi.

Downloads

Download data is not yet available.

References

S. S. Jasim and A. K. A. Hassan, “Modern drowsiness detection techniques: a review,” Int. J. Electr. Comput. Eng., vol. 12, no. 3, pp. 2986–2995, 2022, doi: 10.11591/ijece.v12i3.pp2986-2995.

K. Gopalakrishna and S. A. Hariprasad, “Real-time fatigue analysis of driver through iris recognition,” Int. J. Electr. Comput. Eng., vol. 7, no. 6, pp. 3306–3312, 2017, doi: 10.11591/ijece.v7i6.pp3306-3312.

F. Nur Fajri, A. Tholib, and W. Yuliana, “Application of Machine Learning Algorithm for Determining Elective Courses in Informatics Study Program,” J. Tek. Inform. dan Sist. Inf., vol. 8, no. 3, pp. 485–496, 2022, doi: 10.28932/jutisi.v8i3.3990.

V. P. Sharma, J. S. Yadav, and V. Sharma, “Deep convolutional network based real time fatigue detection and drowsiness alertness system,” Int. J. Electr. Comput. Eng., vol. 12, no. 5, pp. 5493–5500, 2022, doi: 10.11591/ijece.v12i5.pp5493-5500.

S. S. Jasim and A. K. A. Hassan, “Driving sleepiness detection using electrooculogram analysis and grey wolf optimizer,” Int. J. Electr. Comput. Eng., vol. 12, no. 6, pp. 6034–6044, 2022, doi: 10.11591/ijece.v12i6.pp6034-6044.

M. E. Elidrissi, E. Essoukaki, L. Ben Taleb, A. Mouhsen, and M. Harmouchi, “Drivers’ drowsiness detection based on an optimized random forest classification and single-channel electroencephalogram,” Int. J. Electr. Comput. Eng., vol. 13, no. 3, pp. 3398–3406, 2023, doi: 10.11591/ijece.v13i3.pp3398-3406.

C. G. Pachón-Suescún, J. O. Pinzón-Arenas, and R. Jiménez-Moreno, “Abnormal gait detection by means of LSTM,” Int. J. Electr. Comput. Eng., vol. 10, no. 2, pp. 1495–1506, 2020, doi: 10.11591/ijece.v10i2.pp1495-1506.

B. Hardiansyah and A. Primasetya, “Sistem Deteksi Penggunaan masker (Face Mask Detection) Menggunakan Algoritma Deep Learning YOLOv4,” Stain. (SEMINAR Nas. Teknol. & SAINS), vol. 2, no. 1, pp. 313–318, 2023.

Yudi Widhiyasana, Transmissia Semiawan, Ilham Gibran Achmad Mudzakir, and Muhammad Randi Noor, “Penerapan Convolutional Long Short-Term Memory untuk Klasifikasi Teks Berita Bahasa Indonesia,” J. Nas. Tek. Elektro dan Teknol. Inf., vol. 10, no. 4, pp. 354–361, 2021, doi: 10.22146/jnteti.v10i4.2438.

M. D. Darojat, Y. A. Sari, and R. C. Wihandika, “Convolutional Neural Network untuk Klasifikasi Citra Makanan Khas Indonesia,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 5, no. 11, pp. 4764–4769, 2021, [Online]. Available: http://j-ptiik.ub.ac.id

D. Yolanda, K. Gunadi, and E. Setyati, “Pengenalan Alfabet Bahasa Isyarat Tangan Secara Real-Time dengan Menggunakan Metode Convolutional Neural Network dan Recurrent Neural Network,” J. Infra, vol. 8, no. 1, pp. 203–208, 2020, [Online]. Available: https://publication.petra.ac.id/index.php/teknik-informatika/article/view/9791

Z. Chao, F. Pu, Y. Yin, B. Han, and X. Chen, “Research on real-time local rainfall prediction based on MEMS sensors,” J. Sensors, vol. 2018, pp. 1–9, 2018, doi: 10.1155/2018/6184713.

W. Luo, W. Liu, and S. Gao, “Remembering history with convolutional LSTM for anomaly detection,” Proc. - IEEE Int. Conf. Multimed. Expo, no. July, pp. 439–444, 2017, doi: 10.1109/ICME.2017.8019325.