Rancang Bangun Chatbot Pajak Berbasis Retrieval-Augmented Generation untuk Sosialisasi Kebijakan PPh dan PPN

Rendahnya pemahaman masyarakat terhadap kebijakan Pajak Penghasilan (PPh) dan Pajak Pertambahan Nilai (PPN) yang kompleks menjadi tantangan dalam meningkatkan kepatuhan pajak. Penelitian bertujuan untuk merancang dan membangun sebuah chatbot fungsional berbasis Retrieval-Augmented Generation (RAG) sebagai solusi penyampaian informasi perpajakan, serta mengevaluasi tingkat akurasi dan performanya. Metode penelitian adalah riset eksperimental dengan pendekatan gabungan. Evaluasi sistem dilakukan melalui tiga metode: pengujian black box untuk fungsionalitas sistem, human evaluation oleh dua pakar pajak untuk mengukur validitas jawaban, serta evaluasi teknis menggunakan Retrieval-Augmented Generation Assessment (RAGAs). Hasil penelitian menunjukkan seluruh fungsionalitas sistem berjalan sesuai harapan. Berdasarkan penilaian para ahli, chatbot mencapai tingkat akurasi validitas jawaban sebesar 72,5%, dengan tingkat kesepakatan antar pakar "Sangat Baik" yang dibuktikan oleh nilai Cohen's Kappa sebesar 0,875. Evaluasi teknis RAGAs mengonfirmasi kinerja pipeline yang solid, dengan skor faithfulness 0,91 dan context precision 1,00, yang mengkonfirmasi kemampuan sistem untuk memberikan jawaban yang sesuai pada sumber dan mengambil konteks yang relevan. Selain itu, pengujian System Usability Scale (SUS) menghasilkan rata-rata skor 79,5, yang mengindikasikan bahwa chatbot memiliki tingkat usability "Sangat Baik" (Grade B - Good) dari perspektif pengguna. Penelitian berhasil mengembangkan chatbot RAG yang terbukti fungsional dan andal dalam menyosialisasikan kebijakan PPh dan PPN kepada masyarakat.