RANCANG BANGUN SISTEM PENILAIAN DAN UMPAN BALIK OTOMATIS PADA JAWABAN TEKS DENGAN SENTENCE TRANSFORMERS DAN LLM GEMMA BERBASIS WEB

Proses penilaian esai secara manual seringkali memakan waktu, tenaga, dan berpotensi subjektif, sehingga menghambat guru dalam memberikan umpan balik yang efektif. Penelitian ini bertujuan untuk merancang dan membangun sistem penilaian dan umpan balik otomatis berbasis web sebagai solusi. Sistem ini dikembangkan sebagai Learning Management System (LMS) menggunakan framework Laravel yang diintegrasikan dengan model deep learning. Metode penelitian yang digunakan adalah AI Project Life Cycle. Model penilaian dibangun menggunakan pre-trained Sentence Transformers dan Cosine Similarity, serta diperkuat dengan Part-of-Speech (POS) Tagging untuk meningkatkan akurasi dalam memahami makna kalimat. Untuk umpan balik, sistem memanfaatkan Large Language Model (LLM) Gemma guna menghasilkan respons yang konstruktif. Hasil pengujian model penilaian mencapai akurasi 95%. Pengujian fungsionalitas melalui Black Box Testing menunjukkan semua fitur berjalan sesuai harapan. Evaluasi kegunaan dengan metode User Acceptance Testing (UAT) dan System Usability Scale (SUS) yang melibatkan 25 responden (guru dan siswa) menunjukkan tingkat penerimaan sangat baik dengan skor SUS rata-rata 89,3.