Implementation of Natural Language Processing with Deep Learning on Chatbot UKT (Uang Kuliah Tunggal) University

Ridha Evitafany; Rheza Ari Wibowo; Imam Adi Nata

doi:10.31315/telematika.v22i2.14637

Authors

Ridha Evitafany Universitas Tidar
Rheza Ari Wibowo Universitas Tidar
Imam Adi Nata Universitas Tidar

DOI:

https://doi.org/10.31315/telematika.v22i2.14637

Keywords:

Artificial Intelligence (AI), Chatbot, Natural Language Processing (NLP), Bidirectional Long Short-Term Memory (BiLSTM), Customer Satisfaction Score (CSAT)

Abstract

Tujuan: Penelitian yang dilakukan adalah membuat chatbot yang mampu mengklasifikasikan teks soal berdasarkan maksud/label secara lebih tepat, dan membantu memudahkan pelajar dalam memperoleh informasi tambahan terkait layanan UKT (Uang Kuliah Tunggal) dan biaya pendidikan. Chatbot ini mampu mengatasi keterbatasan yang dialami oleh Tata Usaha Fakultas Teknik (TU FT) Universitas Tidar, seperti human delay dalam merespon email atau live chat, keterbatasan jam layanan (office hour), dan keterbatasan informasi pada website kampus. Chatbot dikembangkan menggunakan pendekatan Natural Language Processing (NLP) dan algoritma Deep Learning BiDirectional Long Short-Term Memory (BiLSTM). Hasil sistem chatbot diintegrasikan ke dalam aplikasi Telegram untuk melihat tingkat kepuasan pengguna setelah berinteraksi.

Desain/metodologi/pendekatan: Proses penelitian ini diawali dengan pengumpulan dataset berupa pertanyaan dan jawaban yang telah diberi tag atau label dalam format file JSON. Dataset tersebut dilakukan proses normalisasi teks atau preprocessing Natural Language Processing (NLP), dimana pada tahap ini dilakukan lower case atau case lipat, penghapusan tanda baca, penghapusan spasi berlebih, stopword dan stemming dengan perpustakaan Sastrawi, tokenisasi, dan padding. Selanjutnya dilakukan proses split dataset dengan Bagi 80% pelatihan 20% pengujian, sebelum diolah menjadi fitur ekstraksi, menggunakan FastText untuk penyematan kata. Selanjutnya dilakukan proses klasifikasi teks pertanyaan dengan model BiDirectional Long Short-Term Memory (BiLSTM) dan dilanjutkan evaluasi dengan matriks konvergensi. Tahap terakhir, yaitu integrasi chatbot ke dalam bot Telegram, kemudian dilakukan pengujian pengguna terhadap chatbot dan pengukuran tingkat kepuasan dengan metode Customer Satisfaction Score (CSAT).

Temuan/Hasil: Model akurasi klasifikasi menghasilkan nilai sebesar 96,05% dan pengujian pengguna dengan penerapan metode Customer Satisfaction Score (CSAT) memberikan tingkat kepuasan rata-rata pada rentang 4 (Puas) dan 5 (Sangat Puas) dengan hasil sebesar 88,86% berdasarkan poin-poin berikut 'Kepuasan terhadap jawaban yang diberikan', 'Pemahaman pertanyaan dan jawaban mudah dipahami', dan 'Kinerja sesuai harapan'.

Orisinalitas/nilai/keadaan terkini: Penelitian tentang klasifikasi teks pertanyaan pada chatbot dengan pendekatan Natural Language Processing (NLP) dan model BiDirectional Long Short-Term Memory (BiLSTM) untuk menangani permasalahan pertanyaan jawab layanan UKT (Uang Kuliah Tunggal) dan biaya pendidikan Fakultas Teknik Universitas Tidar belum pernah dilakukan sebelumnya.

References

B. Raharjo, “Deep Learning dengan Python,” Penerbit Yayasan Prima Agus Teknik, pp. 1–131, 2022.

C. Prianto, R. Andarsyah, and N. H. Harani, “Rancang Bangun Kamus Digital Berbasis Chatbot Menggunakan Pendekatan Pattern Matching,” JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 6, no. 4, pp. 2327–2334, 2022.

E. S. Eriana and A. Zein, “Artificial Intelligence (AI),” 2023.

M. Mustaqim, A. Gunawan, Y. B. Pratama, and I. Zaliman, “Pengembangan Chatbot Layanan Publik Menggunakan Machine Learning Dan Natural Languange Processing,” Journal of Information Technology and society, vol. 1, no. 1, pp. 1–4, 2023.

K. A. Nugraha and D. Sebastian, “Chatbot Layanan Akademik Menggunakan K-Nearest Neighbor,” Jurnal Sains dan Informatika, vol. 7, no. 1, pp. 11–19, 2021.

M. F. Fadli, G. A. Buntoro, and F. Masykur, “Penerapan Algoritma Neural Network Pada Chatbot Pmb Universitas Muhammadiyah Ponorogo Berbasis Web,” JuSiTik: Jurnal Sistem dan Teknologi Informasi Komunikasi, vol. 6, no. 1, pp. 13–22, 2022.

N. A. Purwitasari and M. Soleh, “Implementasi Algoritma Artificial Neural Network Dalam Pembuatan Chatbot Menggunakan Pendekatan Natural Language Parocessing,” JURNAL ILMU PENGETAHUAN DAN TEKNOLOGI (IPTEK), vol. 6, no. 1, 2022.

K. Widianto, S. A. Wibowo, and U. Sunarya, “KLASIFIKASI TEKS BERBASIS LONG SHORT-TERM MEMORY UNTUK CHATBOT KONSELING GANGGUAN KECEMASAN SOSIAL,” Telkatika: Jurnal Telekomunikasi Elektro Komputasi & Informatika, vol. 2, no. 2, 2023.

R. P. Putra, A. H. Pratomo, and R. I. Perwira, “Text Message Classification using Multiclass Support Vector Machine on Information Service Chatbot in the Informatics Department UPN ‘Veteran’ Yogyakarta,” Telematika: Jurnal Informatika dan Teknologi Informasi, vol. 19, no. 3, pp. 295–310, 2022.

I. R. Hendrawan and E. Utami, Natural Language Processing: Eksplorasi Sentimen Masyarakat dalam Evaluasi Produk Lokal Indonesia menggunakan Algoritma Bag of Words, TF-IDF, Word2Vec, dan Doc2Vec. Penerbit Andi, 2023. [Online]. Available: https://books.google.co.id/books?id=caPgEAAAQBAJ

A. Hikmah, F. Azmi, and R. A. Nugrahaeni, “Implementasi Natural Language Processing Pada Chatbot Untuk Layanan Akademik,” eProceedings of Engineering, vol. 10, no. 1, 2023.

D. I. Puteri, “Implementasi Long Short Term Memory (LSTM) dan Bidirectional Long Short Term Memory (BiLSTM) Dalam Prediksi Harga Saham Syariah,” Euler: Jurnal Ilmiah Matematika, Sains dan Teknologi, vol. 11, no. 1, pp. 35–43, 2023.

R. Siringoringo, J. Jamaluddin, R. Perangin-angin, E. J. G. Harianja, G. Lumbantoruan, and E. N. Purba, “Model Bidirectional Lstm Untuk Pemrosesan Sekuensial Data Teks Spam,” METHOMIKA: Jurnal Manajemen Informatika & Komputerisasi Akuntansi, vol. 7, no. 2, pp. 265–271, 2023.

F. Y. Fiddin, A. Komarudin, and M. Melina, “Chatbot Informasi Penerimaan Mahasiswa Baru Menggunakan Metode FastText dan LSTM,” Journal of Applied Computer Science and Technology, vol. 5, no. 1, pp. 33–39, 2024.

Y. S. H. Langgeng, E. I. Setiawan, S. Imron, and J. Santoso, “Long short-term memory-based chatbot for vocational registration information services,” Journal of Applied Data Sciences, vol. 4, no. 4, pp. 414–430, 2023.

S. J. Angelina, A. B. P. Negara, and H. Muhardi, “Analisis Pengaruh Penerapan Stopword Removal Pada Performa Klasifikasi Sentimen Tweet Bahasa Indonesia,” JUARA (Jurnal Aplikasi dan Riset Informatika), vol. 2, no. 1, pp. 165–173, 2023.

D. O. Sihombing, “Implementasi Natural Language Processing (NLP) dan Algoritma Cosine Similarity dalam Penilaian Ujian Esai Otomatis,” Jurnal Sistem Komputer dan Informatika (JSON), vol. 4, no. 2, pp. 396–406, 2022.

R. N. Aziza, T. S. Ardanti, E. Yosrita, and R. F. Ningrum, “Pembangunan Aplikasi dan Klasifikasi Pertanyaan Chatbot Informasi Akademik Menggunakan Metode Cosine Similarity dan Naïve Bayes,” KILAT, vol. 12, no. 2, pp. 169–179, 2023.

E. Hashmi, S. Y. Yayilgan, M. M. Yamin, S. Ali, and M. Abomhara, “Advancing fake news detection: hybrid deep learning with fasttext and explainable AI,” IEEE Access, 2024.

S. Ghosal and A. Jain, “Depression and suicide risk detection on social media using fasttext embedding and xgboost classifier,” Procedia Comput Sci, vol. 218, pp. 1631–1639, 2023.

R. A. Sekarwati, A. Sururi, M. A. Rakhmat, and A. Wibowo, “Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi Survey of Chatbot Testing Methods on Social Media to Measure Accuracy,” vol, vol. 11, pp. 172–182, 2021.

R. Andarsyah, C. Y. Pratama, and H. D. Kishendrian, “Implementasi Code Coverage Pada Chatbot Telegram Sebagai Media Alternatif Sistem Informasi,” Jurnal Teknik Informatika, vol. 14, no. 2, pp. 112–117, 2022.

R. P. Yuwan, R. Soelistijadi, and E. Zuliarso, “Implementasi Chatbot Telegram untuk Meningkatkan Kualitas Layanan Jaringan Internet Pada Layanan ICONNET Menggunakan Penerapan Metode Action Research (AR),” Jurnal JTIK (Jurnal Teknologi Informasi dan Komunikasi), vol. 8, no. 1, pp. 40–48, 2024.

A. Ainurrohmah, “Akurasi Algoritma Klasifikasi pada Software Rapidminer dan Weka,” in PRISMA, Prosiding Seminar Nasional Matematika, 2021, pp. 493–499.

K. S. Y. Putri, I. M. A. D. Suarjaya, and W. O. Vihikan, “Sistem Rekomendasi Skincare Menggunakan Metode Content Based Filtering dan Collaborative Filtering,” Decode: Jurnal Pendidikan Teknologi Informasi, vol. 4, no. 3, pp. 764–774, 2024.