RANCANG BANGUN APLIKASI BELAJAR BAHASA ISYARAT SEBAGAI MEDIA PEMBELAJARAN: BERBASIS WEBSITE IMPLEMENTASI MODEL PENGENALAN BAHASA ISYARAT LANJUTAN MENGGUNAKAN MEDIAPIPE DAN CTC-ATTENTION

Pengenalan bahasa isyarat secara lanjutan atau Continuous Sign Language Recognition (CSLR) merupakan tantangan dalam bidang teknologi asistif yang bertujuan menerjemahkan gerakan isyarat secara real-time ke dalam teks natural. Penelitian ini bertujuan mengembangkan model CSLR dengan pendekatan hybrid Connectionist Temporal Classification (CTC) dan Attention Mechanism yang memanfaatkan ekstraksi fitur keypoints dari video menggunakan MediaPipe Holistic. Dataset yang digunakan terdiri dari kalimat dalam bahasa isyarat Sistem Isyarat Bahasa Indonesia (SIBI) yang mencakup kategori dasar anggota keluarga, benda sekitar, dan binatang. Model dikembangkan menggunakan dua arsitektur utama pada tahap encoder, yaitu Pyramid BiLSTM dan Pyramid BiGRU, yang kemudian dibandingkan performanya berdasarkan metrik Word Error Rate (WER), CTC Loss, serta Attention Loss. Model dilatih menggunakan data dengan dan tanpa augmentasi untuk mengevaluasi dampak teknik augmentasi terhadap performa model. Hasil evaluasi menunjukkan bahwa model berbasis BiGRU dengan augmentasi dataset mencapai performa terbaik dengan WER sebesar 0.262, yang secara signifikan lebih baik dibandingkan BiLSTM yang mencatatkan WER sebesar 0.3813. Model kemudian diimplementasikan dalam sistem berbasis web yang mendukung proses inferensi baik secara batch maupun real-time melalui integrasi REST API dan WebSocket dengan back-end Flask pada layanan Amazon Web Services (AWS).