RANCANG BANGUN NON PLAYABLE CHARACTER CERDAS BERBASIS LARGE LANGUAGE MODEL DAN COMPUTER VISION PADA MINECRAFT DENGAN KEMAMPUAN INTERAKSI NATURAL DAN PENGENALAN EMOSI PLAYER

Perkembangan Large Language Model (LLM) dan Computer Vision membuka peluang besar untuk mentransformasi interaksi karakter virtual dalam permainan digital. Pada gim sandbox seperti Minecraft, entitas Non-Player Character (NPC) bawaan masih memiliki keterbatasan perilaku karena dikendalikan oleh sistem berbasis skrip sederhana, sehingga interaksi yang dihasilkan terasa kaku, tidak kontekstual, dan tidak mampu mengenali kondisi emosional pemain. Penelitian ini mengusulkan rancangan sistem Intelligent Companion NPC menggunakan pendekatan sistem terdistribusi hibrida berbasis arsitektur Sense-Think-Act. Sistem ini mengintegrasikan tiga platform utama: Python sebagai modul Computer Vision untuk pemrosesan data visual ekspresi wajah secara real-time menggunakan algoritma CNN, Java dengan framework Fabric sebagai game engine klien untuk menangkap status pemain serta dinamika lingkungan Minecraft, dan Google Gemini API sebagai layanan kecerdasan berbasis cloud untuk penalaran bahasa alami. Seluruh data masukan disinkronisasikan oleh modul Context Builder menjadi format data terstruktur Context JSON sebelum diproses oleh LLM guna menghasilkan respons dialog tingkat tinggi yang adaptif. Hasil kuesioner awal terhadap pemain menunjukkan adanya ekspektasi tinggi terhadap pembaruan sistem interaksi karakter virtual. Melalui integrasi ganda ini, sistem berhasil mewujudkan NPC pendamping yang mampu memahami instruksi bahasa alami secara fleksibel sekaligus menyesuaikan gaya percakapan berdasarkan empat emosi dasar pemain (senang, sedih, marah, dan netral) secara near real-time. Penelitian ini diharapkan dapat menjadi referensi dan panduan bagi pengembang gim dalam meningkatkan kualitas keimersifan dan pengalaman pengguna (user experience) melalui penerapan kecerdasan buatan multimodal.