Pemanfaatan Large Languange Model untuk Pengembangan Chatbot Layanan Akademik dan Kemahasiswaan: Pengembangan Model Chatbot dengan Retrieval Augmented Generation (RAG) dan Fine-Tuning Berbasis LLM

Penelitian ini membahas pengembangan chatbot layanan akademik di Politeknik Negeri Jakarta (PNJ) dengan memanfaatkan Large Language Model (LLM). Tiga pendekatan utama diuji, yaitu Parameter-Efficient Fine-Tuning (PEFT) menggunakan LoRA/QLoRA, Retrieval Augmented Generation (RAG), dan Retrieval Augmented Fine-Tuning (RAFT). Studi kasus menggunakan dokumen SOP kampus sebagai basis pengetahuan, dengan eksplorasi model open-source seperti Llama 2 7B, DeepSeek 7b, Qwen 2.5 3B, dan TinyLlama 1.1B. Dataset pertanyaan-jawaban dikembangkan manual dari SOP, dan respons dievaluasi menggunakan BLEU, ROUGE, METEOR, BERTScore, serta UniEval untuk menilai kualitas jawaban secara komprehensif. Hasil evaluasi menunjukkan pipeline RAG dengan Qwen 2.5 3B sebagai model paling optimal, meraih BERTScore F1 85.72 persen dengan relevansi 95.58 persen, serta konsistensi 73.08 persen, mengungguli metode FT maupun RAFT. Chatbot yang dikembangkan responsif dan relevan ketika diakses melalui aplikasi web. Akan tetapi, implementasi pada cloud GPU seperti Runpod memerlukan biaya operasional cukup tinggi, sehingga penggunaan API komersial direkomendasikan untuk kampus dengan trafik chat rendah. Penelitian ini memperlihatkan potensi RAG dan LLM efisien untuk meningkatkan layanan informasi akademik digital di pendidikan tinggi Indonesia.