RANCANG BANGUN CHATBOT PERPUSTAKAAN BERBASIS HYBRID RETRIEVAL AUGMENTED GENERATION MULTI SOURCE PADA LAYANAN OPAC POLITEKNIK NEGERI JAKARTA

Perpustakaan Politeknik Negeri Jakarta memiliki layanan katalog dan informasi perpustakaan yang digunakan oleh mahasiswa, dosen, dan pengguna umum. Namun, pencarian katalog berbasis kata kunci masih memiliki keterbatasan dalam memahami maksud pengguna, sedangkan informasi layanan tersebar pada beberapa dokumen resmi. Selain itu, sebagian besar metadata deskripsi buku belum lengkap sehingga dapat mengurangi kualitas pencarian semantik. Berdasarkan permasalahan tersebut, dikembangkan chatbot perpustakaan berbasis Multi-Source Retrieval Augmented Generation yang menggabungkan katalog OPAC, dokumen layanan, dan data statistik perpustakaan. Sistem menerapkan Hybrid Retrieval berbasis BM25 dan dense embedding BAAI/bge-m3, Document RAG dengan ChromaDB, LLM-router Qwen3.5 4B, serta enrichment metadata untuk melengkapi deskripsi buku. Evaluasi dilakukan melalui ground truth, ablation study, grid search bobot, evaluasi retrieval, routing comparison, RAGAS, black box testing, dan human evaluation. Hasil pengujian menunjukkan bobot Hybrid Retrieval terbaik adalah BM25 0,20 dan dense 0,80 dengan Hit@5 sebesar 100% dan NDCG@5 sebesar 0,7988. LLM-router memperoleh akurasi 95,1%, sedangkan black box testing dengan 52 skenario yang diuji oleh peneliti menghasilkan pass rate 98,1% (51 dari 52 skenario). Hasil tersebut menunjukkan bahwa chatbot mampu membantu pencarian, rekomendasi, dan layanan informasi perpustakaan secara relevan serta berbasis sumber data yang dapat ditelusuri.