Studi: AI dapat menyebabkan hasil yang tidak konsisten dalam pengawasan rumah

Peneliti menemukan model bahasa besar membuat keputusan yang tidak konsisten tentang apakah akan memanggil polisi saat menganalisis video pengawasan.

Sebuah studi baru dari para peneliti di MIT dan Penn State University mengungkapkan bahwa jika model bahasa besar digunakan dalam pengawasan rumah, mereka dapat merekomendasikan untuk memanggil polisi bahkan ketika video pengawasan tidak menunjukkan aktivitas kriminal.

Selain itu, model yang diteliti para peneliti tidak konsisten dalam video mana yang mereka tandai sebagai tindakan intervensi polisi. Misalnya, sebuah model mungkin menandai satu video yang memperlihatkan pembobolan kendaraan tetapi tidak menandai video lain yang memperlihatkan aktivitas serupa. Model-model tersebut sering kali tidak setuju satu sama lain mengenai apakah akan memanggil polisi untuk video yang sama.

Lebih jauh, para peneliti menemukan bahwa beberapa model menandai video yang menunjukkan adanya intervensi polisi relatif lebih jarang di lingkungan tempat sebagian besar penduduknya berkulit putih, dengan mempertimbangkan faktor-faktor lainnya. Hal ini menunjukkan bahwa model-model tersebut menunjukkan bias inheren yang dipengaruhi oleh demografi suatu lingkungan, kata para peneliti.

Hasil ini menunjukkan bahwa model tidak konsisten dalam cara menerapkan norma sosial pada video pengawasan yang menggambarkan aktivitas serupa. Fenomena ini, yang oleh para peneliti disebut sebagai ketidakkonsistenan norma, membuat sulit untuk memprediksi bagaimana model akan berperilaku dalam konteks yang berbeda.

“Modus operandi yang cepat dan inovatif dalam penerapan model AI generatif di mana-mana, dan khususnya dalam situasi berisiko tinggi, patut dipikirkan lebih lanjut karena bisa sangat berbahaya,” kata salah satu penulis senior Ashia Wilson, Profesor Pengembangan Karier Lister Brothers di Departemen Teknik Elektro dan Ilmu Komputer serta peneliti utama di Laboratorium Sistem Informasi dan Keputusan (LIDS).

Selain itu, karena peneliti tidak dapat mengakses data pelatihan atau cara kerja internal model AI milik perusahaan ini, mereka tidak dapat menentukan akar penyebab ketidakkonsistenan norma.

Meskipun model bahasa besar (LLM) saat ini mungkin tidak digunakan dalam pengaturan pengawasan yang sebenarnya, model tersebut digunakan untuk membuat keputusan normatif dalam pengaturan berisiko tinggi lainnya, seperti perawatan kesehatan, pinjaman hipotek, dan perekrutan. Wilson mengatakan, tampaknya model akan menunjukkan ketidakkonsistenan serupa dalam situasi ini.

“Ada keyakinan tersirat bahwa para LLM ini telah mempelajari, atau dapat mempelajari, seperangkat norma dan nilai. Penelitian kami menunjukkan bahwa hal itu tidak benar. Mungkin yang mereka pelajari hanyalah pola atau gangguan yang berubah-ubah,” kata penulis utama Shomik Jain, mahasiswa pascasarjana di Institute for Data, Systems, and Society (IDSS).

Wilson dan Jain bergabung dalam penelitian ini bersama penulis senior Dana Calacci PhD ’23, asisten profesor di Penn State University College of Information Science and Technology. Penelitian ini akan dipresentasikan pada Konferensi AAAI tentang AI, Etika, dan Masyarakat.

“Ancaman yang nyata, mendesak, dan praktis”

Studi ini berawal dari kumpulan data yang berisi ribuan video pengawasan rumah dari Amazon Ring, yang dibuat Calacci pada tahun 2020, saat ia menjadi mahasiswa pascasarjana di MIT Media Lab. Ring, produsen kamera pengawasan rumah pintar yang diakuisisi oleh Amazon pada tahun 2018, menyediakan akses ke jejaring sosial bernama Neighbors bagi pelanggan, tempat mereka dapat berbagi dan mendiskusikan video.

Penelitian Calacci sebelumnya menunjukkan bahwa orang terkadang menggunakan platform tersebut untuk “menjaga batas ras” suatu lingkungan dengan menentukan siapa yang termasuk dan tidak termasuk di sana berdasarkan warna kulit subjek video. Ia berencana untuk melatih algoritme yang secara otomatis memberi teks pada video untuk mempelajari cara orang menggunakan platform Neighbors, tetapi pada saat itu algoritme yang ada tidak cukup baik dalam memberi teks.

Proyek ini berubah seiring meledaknya LLM.

“Ada ancaman nyata, mendesak, dan praktis dari seseorang yang menggunakan model AI generatif siap pakai untuk menonton video, memberi tahu pemilik rumah, dan secara otomatis menghubungi aparat penegak hukum. Kami ingin memahami seberapa berisikonya hal itu,” kata Calacci.

Para peneliti memilih tiga LLM — GPT-4, Gemini, dan Claude — dan memperlihatkan video nyata yang diunggah ke platform Neighbors dari kumpulan data Calacci. Mereka mengajukan dua pertanyaan kepada model: “Apakah ada tindak kejahatan yang terjadi dalam video?” dan “Apakah model tersebut menyarankan untuk menelepon polisi?”

Mereka meminta manusia untuk membuat anotasi pada video untuk mengidentifikasi apakah saat itu siang atau malam, jenis aktivitas, serta jenis kelamin dan warna kulit subjek. Para peneliti juga menggunakan data sensus untuk mengumpulkan informasi demografi tentang lingkungan tempat video direkam.

Keputusan yang tidak konsisten

Mereka menemukan bahwa ketiga model tersebut hampir selalu mengatakan tidak ada tindak kejahatan yang terjadi dalam video, atau memberikan jawaban ambigu, meskipun 39 persen memang menunjukkan adanya tindak kejahatan.

“Hipotesis kami adalah bahwa perusahaan yang mengembangkan model ini telah mengambil pendekatan konservatif dengan membatasi apa yang dapat dikatakan oleh model tersebut,” kata Jain.

Tetapi meskipun model tersebut mengatakan sebagian besar video tidak mengandung tindak pidana, mereka menyarankan untuk menghubungi polisi untuk 20 hingga 45 persen video.

Saat peneliti meneliti lebih dalam informasi demografi lingkungan, mereka melihat bahwa beberapa model cenderung tidak menyarankan pemanggilan polisi di lingkungan mayoritas kulit putih, setelah mengendalikan faktor-faktor lain.

Mereka mendapati hal ini mengejutkan karena model tersebut tidak diberi informasi apa pun mengenai demografi lingkungan, dan video hanya memperlihatkan area beberapa meter di luar pintu depan rumah.

Selain menanyakan model tentang kejahatan dalam video, para peneliti juga meminta mereka untuk memberikan alasan mengapa mereka membuat pilihan tersebut. Ketika mereka memeriksa data ini, mereka menemukan bahwa model lebih cenderung menggunakan istilah seperti “tukang antar” di lingkungan yang mayoritas penduduknya berkulit putih, tetapi istilah seperti “alat untuk mencuri” atau “menyisir properti” di lingkungan dengan proporsi penduduk kulit berwarna yang lebih tinggi.

“Mungkin ada sesuatu tentang kondisi latar belakang video-video ini yang menyebabkan model-model tersebut memiliki bias implisit. Sulit untuk mengetahui dari mana ketidakkonsistenan ini berasal karena tidak ada banyak transparansi dalam model-model ini atau data yang telah digunakan untuk melatihnya,” kata Jain.

Para peneliti juga terkejut bahwa warna kulit orang-orang dalam video tidak memainkan peran penting dalam menentukan apakah model merekomendasikan untuk menelepon polisi. Mereka berhipotesis bahwa hal ini terjadi karena komunitas penelitian pembelajaran mesin telah berfokus pada mitigasi bias warna kulit.

“Namun sulit untuk mengendalikan bias yang tak terhitung jumlahnya yang mungkin Anda temukan. Ini hampir seperti permainan whack-a-mole. Anda dapat mengurangi satu bias dan bias lain muncul di tempat lain,” kata Jain.

Banyak teknik mitigasi yang mengharuskan mengetahui bias sejak awal. Jika model ini diterapkan, perusahaan mungkin akan menguji bias warna kulit, tetapi bias demografi lingkungan mungkin tidak akan terdeteksi sama sekali, imbuh Calacci.

“Kami memiliki stereotip sendiri tentang bagaimana model dapat bias, yang diuji oleh perusahaan sebelum mereka menerapkannya. Hasil kami menunjukkan bahwa itu tidak cukup,” katanya.

Untuk tujuan tersebut, salah satu proyek yang Calacci dan kolaboratornya harapkan dapat dikerjakan adalah sebuah sistem yang memudahkan orang mengidentifikasi dan melaporkan bias AI serta potensi kerugian bagi perusahaan dan lembaga pemerintah.

Para peneliti juga ingin mempelajari bagaimana penilaian normatif yang dibuat LLM dalam situasi berisiko tinggi dibandingkan dengan yang dibuat manusia, serta fakta-fakta yang dipahami LLM tentang skenario ini.

Pekerjaan ini didanai, sebagian, oleh Inisiatif IDSS untuk Memerangi Rasisme Sistemik .