RANCANG BANGUN SISTEM COMPUTER VISION UNTUK ANALISIS PERILAKU MULTIMODAL MENGGUNAKAN ARSITEKTUR HYBRID YOLO DAN FACE-API.JS DENGAN TRACKING MANHATTAN DISTANCE

Analisis perilaku manusia secara manual rentan terhadap bias subjektivitas dan kelelahan.
Penelitian ini bertujuan mengembangkan sistem Computer Vision berbasis web untuk
memantau perilaku multimodal (aksi, atensi, dan emosi) secara real-time. Sistem ini
menerapkan arsitektur hybrid yang membagi beban komputasi secara efisien: model YOLOv11
dieksekusi pada server untuk deteksi aksi fisik, sedangkan Face-API.js dijalankan pada sisi
klien untuk ekstraksi fitur wajah. Selain itu, algoritma Manhattan Distance diimplementasikan
untuk pelacakan objek (object tracking) antar-frame dengan beban komputasi yang ringan.
Berdasarkan hasil evaluasi, model YOLOv11 mencapai akurasi mAP@50 sebesar 0,607 dan
Face-API.js memperoleh Macro Average F1-score 58,93%. Distribusi beban komputasi
terbukti optimal dengan rata-rata kecepatan pemrosesan mencapai 18 FPS. Kualitas transmisi
jaringan (QoS) melalui WebSocket berjalan sangat stabil dengan packet loss 0%, Round-Trip
Time (RTT) 679 ms, dan jitter 12,45 ms. Pengujian User Acceptance Test (UAT) menghasilkan
tingkat efektivitas 88,9%, efisiensi 97,8%, dan kepuasan 100%. Kesimpulannya, sistem
arsitektur hibrida ini berhasil beroperasi secara stabil, responsif, dan sangat layak digunakan
sebagai solusi pemantauan perilaku multimodal yang efisien.