Di Dalam Kotak Hitam: Masalah Besar dari Kecerdasan Buatan yang Tak Bisa Kita Jelaskan

Pada intinya, masalah ini bukanlah sebuah kerusakan, melainkan fitur dari cara kerja AI canggih dalam belajar. Tidak seperti perangkat lunak tradisional yang diprogram dengan instruksi eksplisit `jika-maka`, model *deep learning*—mesin di balik AI generatif dan otomatisasi kompleks saat ini—terinspirasi dari otak manusia. Model ini terdiri dari jaringan berlapis yang sangat besar dari “neuron” buatan. Neuron ini belajar dengan menganalisis kumpulan data yang masif, lalu menyesuaikan koneksi di antara mereka sendiri hingga dapat mengenali pola. Sebuah sistem mungkin dilatih menggunakan jutaan hasil pemindaian medis untuk mengidentifikasi tumor, atau data keuangan selama puluhan tahun untuk menilai risiko kredit. Hasilnya adalah mesin yang bisa menjalankan tugasnya dengan sangat akurat. Namun, logika internalnya adalah jaring-jaring miliaran bobot dan bias matematis—sebuah lanskap korelasi statistik yang terlalu rumit untuk dipahami pikiran manusia.

Sifatnya yang tidak transparan ini memiliki konsekuensi besar di dunia nyata. Contohnya di sektor keuangan, tempat model AI semakin sering digunakan untuk menyetujui atau menolak pinjaman dan kartu kredit. Seseorang yang pengajuan pinjamannya ditolak berhak tahu alasannya. Namun, bank yang menggunakan model kotak hitam mungkin tidak dapat memberikan alasan spesifik yang dapat dimengerti manusia selain “algoritma menentukan Anda berisiko tinggi.” Penelitian dari lembaga seperti Institut Stanford untuk AI yang Berpusat pada Manusia (Institute for Human-Centered AI) telah berulang kali menyoroti bagaimana rumitnya model-model ini membuat auditor eksternal hampir mustahil mendeteksi bias tersembunyi. Jika sebuah model dilatih dengan data yang secara historis bias, model itu mungkin belajar untuk secara tidak adil merugikan pemohon dari lingkungan atau demografi tertentu tanpa ada instruksi eksplisit untuk melakukannya. Hal ini melanggengkan ketidaksetaraan di balik selubung teknologi yang seolah-olah objektif.

Taruhannya menjadi lebih tinggi dalam situasi hidup atau mati. Ketika sebuah kendaraan otonom membuat keputusan sepersekian detik untuk membanting setir atau mengerem, memahami alasannya sangat penting untuk keselamatan dan akuntabilitas. Jika terjadi kecelakaan, akan sangat sulit untuk menentukan siapa yang bersalah. Apakah itu kegagalan sensor, cacat pada kode, atau pilihan logis tetapi dipertanyakan secara etis yang dibuat oleh model berdasarkan pola yang dipelajarinya selama pelatihan? Tanpa penjelasan yang jelas, upaya memperbaiki sistem dan mencegah kegagalan di masa depan hanya akan menjadi tebak-tebakan. Tantangan yang sama ada di bidang kedokteran. AI mungkin menandai hasil pemindaian pasien sebagai kanker. Meskipun bisa menjadi alat yang menyelamatkan nyawa, dokter perlu memahami dasar rekomendasi tersebut agar dapat memercayainya dan membuat diagnosis akhir yang bertanggung jawab.

Sebagai respons terhadap dilema yang terus berkembang ini, sebuah bidang khusus yang dikenal sebagai AI yang Bisa Dijelaskan (*Explainable AI* atau XAI) telah muncul. Para peneliti sedang mengembangkan teknik-teknik baru untuk mengintip ke dalam kotak hitam. Beberapa metode bekerja dengan menciptakan model perkiraan yang lebih sederhana untuk meniru perilaku AI yang kompleks, sehingga menawarkan penjelasan yang lebih mudah dicerna untuk hasil tertentu. Metode lain mencoba membuat peta panas (*heat map*) yang menunjukkan bagian mana dari sebuah masukan—seperti kata-kata tertentu dalam teks atau piksel dalam gambar—yang paling berpengaruh dalam keputusan akhir AI. Alat-alat ini adalah langkah pertama yang penting, tetapi sering kali hanya memberikan korelasi, bukan pemahaman sejati tentang penalaran sebab-akibat dari AI tersebut.

Para pembuat kebijakan juga mulai menaruh perhatian. Undang-Undang AI (AI Act) dari Uni Eropa, misalnya, mengusulkan persyaratan transparansi yang ketat untuk sistem yang dianggap “berisiko tinggi”. Undang-undang ini menyarankan agar penyedia AI yang digunakan di bidang-bidang seperti ketenagakerjaan, penegakan hukum, dan infrastruktur kritis mungkin diwajibkan untuk memberikan dokumentasi yang jelas tentang cara kerja sistem mereka dan logika di balik keputusannya. Tujuannya adalah untuk menegakkan tingkat akuntabilitas, memaksa pengembang untuk memprioritaskan kemampuan sistem untuk dijelaskan di samping kinerjanya. Namun, membuat undang-undang tentang transparansi untuk teknologi yang pada dasarnya tidak transparan adalah tantangan yang sangat besar.

Pada akhirnya, masalah kotak hitam ini memaksa kita untuk menghadapi sebuah pilihan sulit yang mendasar. Dalam upaya kita untuk menciptakan AI yang semakin kuat dan akurat, kita telah menciptakan alat yang melampaui kemampuan kita sendiri untuk memahaminya. Hal ini menuntut perubahan dalam cara kita menggunakan sistem ini. Untuk keputusan berisiko tinggi yang memengaruhi hak, keuangan, dan keselamatan orang, pendekatan “manusia dalam siklus” (*human-in-the-loop*) mungkin sangat penting. Dalam model ini, AI berfungsi sebagai penasihat yang kuat, memunculkan pola dan memberikan rekomendasi. Namun, penilaian akhir yang dapat dipertanggungjawabkan tetap berada di tangan seorang ahli manusia yang dapat menerapkan konteks, etika, dan akal sehat.

Menyelesaikan masalah ini bukan sekadar urusan teknis bagi para ilmuwan komputer; ini adalah sebuah kewajiban sosial. Seiring AI menjadi semakin terintegrasi ke dalam tatanan hidup kita, kemampuan kita untuk memercayainya akan bergantung pada kemampuan kita untuk memahaminya. Upaya untuk membuka kotak hitam ini lebih dari sekadar memperbaiki algoritma. Ini adalah tentang memastikan bahwa dunia otomatis yang sedang kita bangun tetap selaras dengan nilai-nilai kemanusiaan, dan bahwa keputusannya, secerdas apa pun itu, tetap dapat dipertanggungjawabkan kepada kita.