Evaluasi Sentence-BERT pada Arsitektur Hybrid Chatbot ISP untuk Penanganan Out-of-Vocabulary

Authors

  • Ivan Yusuf Sholy Khudin Universitas Nusantara PGRI Kediri Indonesia
  • Ahmad Bagus Setiawan Universitas Nusantara PGRI Kediri Indonesia

DOI:

https://doi.org/10.29407/94d19c11

Abstract

Pendekatan rule-based pada chatbot layanan pelanggan sering kali gagal mengenali maksud pengguna ketika terdapat kesalahan ketik atau kata di luar kosakata sistem (Out-of-Vocabulary/OOV). Penelitian ini berfokus mengevaluasi kinerja model Sentence-BERT (SBERT) sebagai solusi penanganan OOV pada chatbot keluhan jaringan internet. Berbeda dengan pengembangan sistem chatbot secara utuh, penelitian ini mengisolasi pengujian khusus pada 300 dataset kalimat pelanggan yang tidak baku dan mengandung ambiguitas. Kalimat uji diproses menggunakan SBERT untuk mengekstraksi representasi semantik dan diklasifikasikan ke dalam intent spesifik. Hasil evaluasi menunjukkan model mampu mengidentifikasi intent dengan akurasi yang lebih baik dibandingkan pencocokan kata kunci konvensional, meskipun dengan kompensasi waktu komputasi yang sedikit meningkat pada sisi server. Kesimpulannya, implementasi SBERT efektif bertindak sebagai lapisan koreksi otomatis untuk meminimalisir kegagalan respons chatbot akibat variasi bahasa natural pelanggan.

Keywords:

Chatbot, Out-of-Vocabulary, Semantik, Sentence-BERT

##plugins.themes.default.displayStats.downloads##

##plugins.themes.default.displayStats.noStats##

References

[1] A. E. N. Nasser, F. Fattah, and L. B. Ilmawan, ―Analisis Quality Of Service Layanan Internet

Service Provider pada Esports MOBA,‖ LINIER: Literatur Informatika dan Komputer, vol. 1, no. 3, pp.

248–255, Dec. 2024, doi: 10.33096/linier.v1i3.2502.

[2] S. R. M. Ibrahim and D. Handayani, ―Implementasi Chatbot Berbasis Aturan untuk Layanan

Customer Service E-commerce pada Platform WhatsApp,‖ Journal of Information System Research

(JOSH), vol. 7, no. 1, pp. 39–46, Oct. 2025, doi: 10.47065/josh.v7i1.8443.

[3] J. Khan, K. Ahmad, S. K. Jagatheesaperumal, and K. A. Sohn, ―Textual variations in social

media text processing applications: challenges, solutions, and trends,‖ Artif. Intell. Rev., vol. 58, no. 3,

Mar. 2025, doi: 10.1007/s10462-024-11071-z.

[4] M. Akbar Nasution et al., ―Implementasi NLP Dalam Pembuatan Chatbot Customer Service

Publisher Jurnal Studi Kasus LARISMA,‖ Jan. 2024. doi: 10.56495/saintek.v1i1.451.

[5] T. Astuti Rahayu, A. Kharisma Hidayah, H. Witriyono, and R. Guntur Alam, ―Implementasi

Metode Pattern-Based Natural Language Processing (NLP) Pada Chatbot,‖ JSAI: Journal Scientific and

Applied Informatics, vol. 7, no. 3, 2024, doi: 10.36085/jsai.v7i3.6739

[6] M. Abdul, H. Fathuddin, E. Prakarsa Mandyartha, and A. L. Nurlaili, ―Penerapan Sentence-Bert

dan Cosine Similarity untuk Pencarian Semantik Dokumen Skripsi dalam Format PDF,‖ R2J, vol. 8, no.

1, 2025, doi: 10.38035/rrj.v8i1.

[7] H. Hartatik and A. Syafrianto, ―PENERAPAN MODEL SENTENCE-BERT UNTUK SISTEM

REKOMENDASI BUKU BERBASIS KONTEN DI PERPUSTAKAAN DIGITAL,‖ Jurnal Dialektika

Informatika (Detika), vol. 6, no. 1, pp. 12–19, Nov. 2025, doi: 10.24176/detika.v6i1.15916.

[8] I. Hakiki, F. Atqiya, and A. Suryan, ―Implementasi Model Sentence-Bert untuk Deteksi

Plagiarisme Pada Karya Tulis Ilmiah Psikologi Berbahasa Indonesia,‖ Cerdika: Jurnal Ilmiah Indonesia,

vol. 5, no. 12, 2025, doi: 10.59141/cerdika.v5i12.2889.

[9] N. Reimers and I. Gurevych, ―Sentence-BERT: Sentence Embeddings using Siamese BERTNetworks,‖ Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing,

Aug. 2019, doi: 10.48550/arXiv.1908.10084.

[10] I. Yusuf, S. Khudin, A. Sanjaya, and A. B. Setiawan, ―Implementasi Chatbot Layanan Pelanggan

Berbasis NLP Menggunakan Platform Telegram Pada Penyedia Layanan Internet,‖ Kediri, Jan. 2026.

doi: 10.29407/vbgfc739.

Downloads

Published

2026-07-20

Issue

Vol. 10 No. 3 (2026): Prosiding Seminar Nasional Inovasi Teknologi Tahun 2026

Section

Articles

License

Creative Commons License

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

Authors who publish with this journal agree to the following terms:

  1. Copyright on any article is retained by the author(s).
  2. The author grants the journal, right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgment of the work’s authorship and initial publication in this journal.
  3. Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal’s published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgment of its initial publication in this journal.
  4. Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work.
  5. The article and any associated published material is distributed under the Creative Commons Attribution-ShareAlike 4.0 International License

How to Cite

Evaluasi Sentence-BERT pada Arsitektur Hybrid Chatbot ISP untuk Penanganan Out-of-Vocabulary. (2026). Prosiding SEMNAS INOTEK (Seminar Nasional Inovasi Teknologi), 10(3), 2835-2843. https://doi.org/10.29407/94d19c11