PERANCANGAN SISTEM KEAMANAN PADA UBUNTU SERVER TERHADAP BUFFER OVERFLOW DAN FORMAT STRING MENGGUNAKAN FAIL2BAN DAN APPARMOR

Kerentanan memori seperti buffer overflow dan format string masih sering ditemukan hingga saat ini. Mitigasi bawaan pada binary di Linux, seperti NX, RELRO, PIE, dan Stack Canary menjadi tidak efektif apabila tidak dikonfigurasi maksimal dan dikombinasikan dengan lemahnya praktik secure coding. Penelitian ini bertujuan untuk merancang sistem keamanan berlapis yang mengombinasikan AppArmor sebagai lapisan pencegah eksploitasi di tingkat sistem operasi dan Fail2Ban sebagai lapisan pemblokiran alamat IP di tingkat jaringan. Rancangan sistem keamanan diimplementasikan pada tiga mesin virtual Ubuntu Server 24.04 dengan proteksi bertingkat, yaitu VM-1 (tanpa proteksi), VM-2 (proteksi sebagian), dan VM-3 (proteksi penuh). Penelitian ini juga memanfaatkan alat monitoring, seperti Grafana, Loki, dan Prometheus. Objek penelitian menggunakan 10 file ELF binary yang diskenariokan memiliki celah dengan variasi proteksi dan alur logika program berbeda-beda. Tahap pengujian dilakukan melalui 4 skenario berbeda, yaitu fungsionalitas, pembatasan dampak oleh AppArmor, pemblokiran alamat IP oleh Fail2Ban, dan pembanjiran koneksi. Hasil pengujian pada binary dengan profil AppArmor longgar masih memungkinkan penyerang memperoleh server secara penuh, karena tidak adanya pembatasan ruang lingkup. Di sisi lain, Fail2Ban mampu memblokir alamat IP berdasarkan pola crash berulang dan pembanjiran koneksi yang melebihi ambang batas. Pengembangan lebih lanjut bisa dengan menambahkan notifikasi alert dan memperdalam pengujian di sisi jaringan.