Perang AI Melawan Ujaran Ekstremis Makin Berbahaya

Di seluruh industri teknologi, banyak perusahaan menjual sistem AI yang menjanjikan deteksi propaganda teroris, ancaman kekerasan, dan pola radikalisasi secepat mesin. Pemerintah menginginkannya. Platform media sosial membutuhkannya. Investor melihatnya sebagai tambang emas. Promosinya selalu sama. Mesin lebih cepat dari manusia. Mesin bisa melihat pola yang terlewat oleh manusia. Mesin bisa menghentikan bahaya sebelum menyebar. Terdengar bersih, modern, dan tak terhindarkan.

Namun, begitu sistem itu dipakai di dunia nyata, ceritanya menjadi buruk. Bahasa bukanlah matematika. Agama bukanlah TKP. Kemarahan politik tidak sama dengan niat melakukan kekerasan. Namun, alat moderasi AI terus mengaburkan batasan ini, terutama saat melibatkan bahasa Arab, Urdu, dan bahasa lain yang diawasi dengan ketat. Para peneliti telah memperingatkan hal ini selama bertahun-tahun. Human Rights Watch, Access Now, dan beberapa tim akademis telah mendokumentasikan kesalahan berulang dalam moderasi otomatis terkait konflik, Islam, dan ujaran politik. Sederhananya, mesin membuat keputusan serius di mana konteks adalah segalanya, padahal akurasinya sering kali goyah.

Buktinya bukan sekadar teori. Pada 2021, Oversight Board dari Meta sendiri mengatakan perusahaan telah salah menghapus konten yang mendokumentasikan pelanggaran di Timur Tengah. Ini karena sistem mereka terlalu ketat terhadap materi berbahasa Arab. Selama periode konflik, pola ini menjadi sangat biasa terjadi. Postingan dihapus. Akun dibekukan. Jurnalis, aktivis, dan pengguna biasa dibiarkan tanpa penjelasan, sementara platform bersikeras mereka melindungi publik. Kadang mereka memang memblokir propaganda. Kadang mereka hanya menghancurkan konteks.

Inilah bahaya utama di pasar keamanan AI yang baru. Teknologi ini dijual sebagai perisai melawan terorisme, tetapi dalam praktiknya sering kali bertindak seperti alat pukul yang tumpul. Satu frasa, satu gambar, satu klip khotbah, satu diskusi sejarah, atau satu postingan penuh duka setelah serangan, bisa dianggap oleh sistem sebagai variasi dari ancaman yang sama. Mesin tidak mengerti duka. Ia tidak paham satir. Ia tidak tahu apakah pengguna memuji, mengutuk, atau mendokumentasikan kekerasan. Ia hanya memprediksi berdasarkan pola. Dan pola yang dibangun dari data bias selama bertahun-tahun bisa menjadi kecurigaan otomatis.

Ini bukan paranoia. Beginilah cara kerja machine learning. Model belajar dari label-label masa lalu, dan label-label itu mencerminkan penilaian manusia, prioritas institusi, dan tekanan politik. Jika tim penegak aturan di masa lalu lebih fokus pada wilayah, bahasa, atau penanda agama tertentu, maka model yang dilatih dari riwayat itu akan menyerap pola yang sama. Peneliti di institusi seperti Stanford dan NYU telah berulang kali menunjukkan bahwa sistem moderasi konten dapat bekerja tidak merata di berbagai bahasa dan latar budaya. Bahasa Inggris mendapat data pelatihan terkaya, penyesuaian kebijakan terbanyak, dan pengawasan publik paling besar. Bahasa lain sering kali hanya mendapat sisanya.

Sekarang, tambahkan pasar kontraterorisme, di mana rasa takut mendorong pembelian dan nuansa menjadi korban pertama. Di sinilah para vendor berjanji untuk mengidentifikasi jalur radikalisasi, hubungan jaringan, dan narasi berisiko tinggi sebelum analis manusia dapat menemukannya. Tawaran ini terdengar sangat menarik setelah setiap serangan besar terjadi. Tidak ada menteri atau wali kota yang mau menjadi pejabat yang menolak alat yang dipasarkan sebagai pencegahan. Namun, klaim prediktif di bidang ini patut diragukan. Sejarah teknologi keamanan dipenuhi dengan produk yang janjinya terlalu tinggi tetapi hasilnya mengecewakan, terutama ketika vendor membungkus penyortiran data biasa dengan bahasa terobosan intelijen.

Bahkan beberapa pendukung terkuat keamanan AI tahu ini bisa menjadi kacau dengan cepat. Masalahnya bukan apakah konten ekstremis kekerasan ada di online. Konten itu memang ada, dan platform telah bertahun-tahun mencoba menahannya. Masalahnya adalah lompatan dari mengidentifikasi propaganda yang jelas ke membangun sistem yang menyimpulkan ideologi berbahaya dari potongan ucapan, asosiasi, atau kosakata agama. Di sinilah penegakan hukum yang sah bisa kabur menjadi profiling digital.

Eropa menjadi medan pertempuran utama. Di bawah Digital Services Act Uni Eropa, platform besar menghadapi tekanan untuk bertindak lebih agresif terhadap materi ilegal dan berbahaya, termasuk konten teroris. Pada saat yang sama, kelompok hak asasi memperingatkan bahwa otomatisasi yang agresif dapat menghapus ujaran yang sah dan menenggelamkan proses banding dalam birokrasi. Di Inggris, di mana kebijakan kontra-ekstremisme telah lama sarat muatan politis, kelompok kebebasan sipil telah bertahun-tahun menentang program yang berlebihan untuk menemukan tanda-tanda radikalisasi. AI kini mengancam untuk memperkuat insting yang sama dengan transparansi yang lebih sedikit dan skala yang lebih besar.

Lalu ada masalah internet yang terbuka. Generative AI telah mempermudah produksi propaganda dalam berbagai bahasa, meniru simbol, me-remix pidato, dan membanjiri jaringan dengan materi persuasif berbiaya rendah. Europol pada 2023 memperingatkan bahwa generative AI dapat mendukung operasi kriminal dan ekstremis dengan membuat rekrutmen dan propaganda lebih mudah diskalakan. Peringatan itu penting. Ancamannya nyata. Tetapi inilah mengapa kepanikan sangat berbahaya. Ancaman nyata dapat digunakan untuk membenarkan penggunaan alat yang ceroboh, pengawasan yang luas, dan kemitraan rahasia antara pemerintah dan perusahaan teknologi yang beroperasi dengan sedikit akuntabilitas publik.

Di sinilah pembicaraan konspirasi mulai muncul, dan itu tumbuh subur karena institusi terus memberinya makan. Ketika pemerintah menolak menjelaskan bagaimana sistem menandai pengguna, ketika platform bersembunyi di balik bahasa keamanan yang samar, dan ketika orang-orang tak bersalah kehilangan akun atau menghadapi pengawasan tanpa solusi yang jelas, kekosongan ini diisi oleh desas-desus. Orang-orang mulai percaya bahwa mereka diawasi karena kata-kata yang mereka gunakan untuk berdoa, sejarah yang mereka diskusikan, atau politik yang mereka kritik. Terkadang ketakutan itu berlebihan. Terkadang tidak. Intinya sederhana: ketidakjelasan melahirkan kecurigaan, dan AI membuat kekuasaan yang tidak transparan menjadi lebih sulit dilawan.

Pembelaan favorit industri ini adalah bahwa tinjauan manusia tetap dilibatkan. Itu terdengar meyakinkan sampai Anda melihat skalanya. Miliaran postingan bergerak melintasi platform-platform besar. Filter otomatis melakukan seleksi pertama. Sistem triase mengurutkan risiko. Peninjau bekerja di bawah tekanan, seringkali dengan pengetahuan lokal yang terbatas dan waktu yang sedikit. Begitu sistem AI menandai sesuatu sebagai berbahaya, label itu dapat membentuk setiap keputusan berikutnya. Pengawasan manusia dalam proses ini sering kali bukan menjadi pelindung, melainkan sekadar stempel di bawah tekanan.

Semua ini bukan berarti perusahaan teknologi harus mengabaikan upaya untuk menghentikan kekerasan ekstremis nyata di online. Itu tidak masuk akal. Propaganda ISIS, manual serangan, dan kampanye rekrutmen terorganisir telah menggunakan platform digital secara efektif di masa lalu. Badan penegak hukum di seluruh Eropa, Asia, dan Timur Tengah telah mendokumentasikan bagaimana jaringan terenkripsi dan ekosistem media online dapat membantu kelompok kekerasan. Ancamannya tidak dibuat-buat. Masalahnya adalah perusahaan dan pemerintah bertindak seolah-olah deteksi yang lebih cepat otomatis berarti deteksi yang lebih pintar. Padahal tidak.

Jalan yang lebih cerdas lebih sulit dan kurang glamor. Ini berarti klaim yang lebih sempit. Keahlian bahasa yang lebih baik. Audit independen. Pelaporan kesalahan secara publik. Sistem banding yang jelas. Aturan yang kuat melarang penyimpulan niat kekerasan hanya dari agama. Ini berarti mengakui bahwa sebuah model tidak dapat diandalkan untuk menyelesaikan ambiguitas politik, agama, dan budaya dalam skala besar hanya karena dasbor vendor menyala merah.

Industri AI suka berbicara tentang 'alignment' atau keselarasan. Inilah ujian yang sesungguhnya. Jika sistem-sistem ini tidak dapat membedakan keyakinan dari fanatisme, peliputan dari propaganda, atau perbedaan pendapat dari bahaya, maka sistem itu tidak membuat kita lebih aman. Mereka hanya mengotomatisasi salah satu kegagalan tertua dalam politik modern: memperlakukan seluruh komunitas sebagai masalah yang harus dikelola. Dan begitu logika itu tertanam dalam kode, ia bergerak cepat, bersembunyi dengan baik, dan sangat sulit untuk diurungkan.