Sistem Penilaian Esai Otomatis Menggunakan Model SBERT Dan Cosine Similarity untuk Evaluasi Akademik

Penilaian esai secara manual oleh pengajar memerlukan banyak waktu, tenaga, dan berpotensi menghasilkan penilaian yang subjektif dan tidak konsisten. Oleh karena itu, penelitian ini mengembangkan sebuah sistem penilaian esai otomatis yang memanfaatkan model pretrained SBERT (SentenceBERT) dengan metode cosine similarity. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem yang mampu menilai kualitas jawaban siswa secara objektif dan efisien dengan mempertimbangkan kemiripan semantik antara jawaban siswa dan jawaban pengajar. Sistem ini dirancang berbasis web menggunakan ReactJS di frontend dan FastAPI di backend, serta diujikan pada data esai siswa yang diambil dari dataset IndoNLI. Hasil evaluasi model menunjukkan kinerja yang baik dengan threshold 0.80 yang menghasilkan nilai akurasi sebesar 0.88, precision 0.90, recall 0.90, F1-score 0.90, Pearson correlation 0.74, dan Spearman correlation 0.72. Selain itu, hasil pengujian sistem menunjukkan tingkat keberhasilan 100 persen pada Blackbox Testing, skor System Usability Scale (SUS) sebesar 81,5 persen dalam kategori Excellent, skor Net Promoter Score (NPS) sebesar 40 persen, dan skor user acceptance testing (UAT) sebesar 80 persen dalam kategori baik yang menunjukkan sebagian besar pengguna bersedia merekomendasikan sistem ini. Dengan demikian, sistem ini dinilai layak digunakan dan dapat membantu pengajar dalam menilai esai secara lebih objektif, efisien, dan konsisten.