Algoritma Membuat Ketidaksetaraan Amerika Semakin Buruk

Algoritma Membuat Ketidaksetaraan Amerika Semakin Buruk

Dalam sebuah buku baru, ilmuwan politik Virginia Eubanks mengatakan menggunakan komputer untuk memutuskan siapa yang mendapat layanan sosial menyakiti orang miskin. “Algoritma membuat ketidaksetaraan Amerika semakin buruk.

William Gibson seorang penulis fiksi spekulasi Kanada-Amerika dan ahli esai menulis bahwa masa depan ada disini, tidak merata. Yang dimaksud disini itu adalah Amerika. Ungkapan ini biasanya digunakan untuk menunjukkan bagaimana orang kaya memiliki lebih banyak akses terhadap teknologi, tapi apa yang terjadi bila orang miskin secara tidak proporsional tunduk padanya ?

Manusia Berinteraksi Dengan Robot
Manusia Berinteraksi Dengan Robot

Dalam Mengotomisasi Ketidaksetaraan, penulis Virginia Eubanks berpendapat bahwa orang miskin adalah tempat uji coba untuk teknologi baru yang meningkatkan ketidaksetaraan. Buku itu, keluar minggu ini, dimulai dengan sejarah rumah-rumah miskin Amerika, yang dihiasi lanskap mulai tahun 1660-an dan berada disekitar abad ke-20.

Dari situlah, katalog Eubanks bagaimana orang miskin telah diperlakukan selama seratus tahun terakhir, sebelum datang ke sistem pelayanan sosial hari ini yang semakin bergantung pada algoritma.

Eubanks tidak meninggalkan ketidakpastian mengenai posisinya apakah otomasi semacam itu bagus. Tesisnya adalah bahwa pandangan kemiskinan dan moralistik yang membangun rumah-rumah miskin tidak pernah meninggalkan kita, dan telah terbungkus dalam alat pengambilan keputusan otomatis dan prediksi saat ini. Algoritma ini dapat mempersulit orang untuk mendapatkan layanan sambil memaksa mereka menangani proses invasif pengumpulan data pribadi. Sebagai contoh, dia profil tiga program yang berbeda: proses aplikasi Medicaid di Indiana, tunawisma di Los Angeles, dan layanan perlindungan anak di Pittsburgh.

Eubanks berbicara dengan MIT Technology Review tentang kapan layanan sosial pertama kali menjadi otomatis, pengalamannya sendiri dengan algoritma prediktif, dan bagaimana alat cacat ini memberi harapan bahwa ketidaksetaraan akan dimasukkan ke dalam kelegaan yang begitu nyata sehingga kita harus mengatasi bagaimana kita memperlakukan orang miskin kita, sekali dan untuk semua.

Kesejajaran Antara Orang Miskin

Apa kesejajaran antara rumah-rumah miskin di masa lalu dan apa yang Anda sebut rumah malas digital hari ini?

Alat-alat berteknologi tinggi yang kita lihat-saya menyebutnya “rezim analisis data” – sebenarnya lebih merupakan evolusi daripada revolusi. Mereka cocok dengan baik dalam sejarah kebijakan kemiskinan di Amerika Serikat.

Ketika saya memulai pekerjaan ini, saya pikir saat ini kita akan melihat alat digital ini benar-benar sampai pada bantuan publik dan layanan publik mungkin ada di tahun 1980an, ketika ada serapan komputer pribadi yang meluas, atau pada tahun 1990an ketika reformasi kesejahteraan berlalu. Namun kenyataannya, mereka muncul pada akhir 1960an dan awal 1970an, sama seperti gerakan hak kesejahteraan nasional membuka akses terhadap bantuan publik.

Manusia Dijadikan Alat Uji Coba Teknologi
Manusia Dijadikan Alat Uji Coba Teknologi

Pada saat bersamaan, terjadi serangan balasan terhadap gerakan hak-hak sipil yang terjadi, dan sebuah resesi. Jadi pejabat terpilih, birokrat, dan administrator ini berada di posisi ini dimana masyarakat kelas menengah mendorong mundurnya perluasan bantuan publik. Tapi mereka tidak bisa lagi menggunakan strategi go-to mereka untuk mengecualikan orang dari gulungan karena alasan yang sangat diskriminatif. Itulah saat kita melihat teknologi ini tiba. Apa yang Anda lihat adalah penurunan gulung kesejahteraan yang sangat cepat tepat setelah mereka terintegrasi ke dalam sistem. Dan keruntuhan itu terus berlanjut sampai hari ini.

 

Jadi untuk beberapa algoritma yang kita miliki saat ini, alat belajar mesin akan menggantikannya. Dalam penelitian Anda, apakah Anda menemukan masalah apa pun yang akan muncul begitu kita memiliki lebih banyak AI dalam sistem ini?

Saya tidak tahu bahwa saya memiliki tanggapan langsung terhadap hal itu. Tapi satu hal yang akan saya katakan adalah bahwa sistem layanan anak Pittsburgh sering ditulis seolah-olah itu adalah AI atau pembelajaran mesin. Dan sebenarnya, itu sebenarnya hanya model regresi statistik sederhana.

Menurut saya itu sangat menarik, cara kita cenderung matematika-mencuci sistem ini, bahwa kita memiliki kecenderungan untuk menganggapnya lebih rumit dan sulit dipahami daripada sebenarnya. Saya menduga ada sedikit teknologi hocus-pocus yang terjadi saat sistem ini online dan orang-orang sering merasa tidak memahaminya dengan cukup baik untuk mengomentarinya. Tapi itu tidak benar. Saya pikir lebih banyak orang yang saat ini membicarakan masalah ini mampu, percaya diri, dan seharusnya berada di meja saat kita membicarakannya.

Anda memiliki kutipan bagus dari seorang wanita tentang kupon makanan yang memberi tahu Anda bahwa pekerja sosialnya melihat riwayat pembeliannya. Anda tampak terkejut, jadi dia berkata, “Anda harus memperhatikan apa yang terjadi pada kita. Anda berikutnya.” Apakah Anda memiliki contoh teknologi yang berhubungan dengan populasi umum seperti contoh ini?

Saya memulai buku ini dengan membicarakan kasus dimana pasangan saya diserang dan dipukuli dengan sangat buruk. Setelah menjalani operasi besar, kami diberitahu di apotek saat mencoba mengambil obat sakitnya sehingga kami tidak lagi mendapat asuransi kesehatan. Dengan panik, saya menghubungi perusahaan asuransi saya dan mereka mengatakan pada saya pada dasarnya bahwa kami kehilangan tanggal mulai untuk liputan kami.

Saya berkata, “Anda tahu, yah, itu aneh, karena Anda membayar klaim yang kami buat beberapa minggu yang lalu, jadi kami harus memiliki tanggal mulai saat itu.” Dan mereka berkata, “Oh, pastilah baru saja kesalahan teknis Seseorang pasti telah secara tidak sengaja menghapus tanggal mulai Anda atau sesuatu. “

Saya benar-benar curiga bahwa apa yang sebenarnya terjadi adalah bahwa mereka telah menghentikan liputan kami saat mereka menyelidiki kami atas kecurangan (saya telah mengerjakan alat deteksi kecurangan semacam ini untuk waktu yang lama saat itu). Dan kami memiliki beberapa indikator paling umum bahwa penipuan asuransi terjadi: kami hanya memiliki asuransi selama beberapa hari sebelum serangan itu, kami belum menikah, dan dia telah menerima zat yang dikendalikan untuk membantunya mengatasi rasa sakitnya.

Saya tidak akan pernah tahu apakah kami sedang diselidiki, tapi bagaimanapun mereka mengatakan kepada kami bahwa kami berutang tagihan medis sebesar $ 60.000 yang ditolak karena kami tidak diliput saat klaim tersebut berhasil lolos. Hal itu menyebabkan stres yang luar biasa.

Jadi, sistem ini sebenarnya sudah bekerja, agak tak terlihat, dalam banyak layanan yang berinteraksi dengan kita sehari-hari, entah kita miskin, kelas pekerja atau kelas menengah profesional, atau elit ekonomi. Tapi mereka tidak mempengaruhi kita semua secara setara. Pasangan saya dan saya dapat bertahan dalam pengalaman itu karena kami memiliki sumber daya untuk membantu kami melewati pengalaman itu, dan juga karena hal itu hanya terjadi pada kami satu kali. Itu tidak datang dari segala arah. Bukan kekuatan yang luar biasa di mana kami mendengarnya dari layanan perlindungan anak, juga Medicaid, dan juga kupon makanan, dan juga polisi.

Saya pikir ini bisa menjadi lebih sulit bagi orang-orang yang berurusan dengan banyak sistem ini pada saat bersamaan.

Apakah ada sesuatu yang baik terjadi karena alat ini?

Salah satu alasan saya optimis adalah bahwa sistem ini juga benar-benar diagnostik yang luar biasa. Mereka membuat ketidakadilan di negara kita benar-benar konkret, dan sangat nyata. Dimana salah satu sistem berjalan tanpa kendali adalah tempat di mana kita memiliki ketidaksetaraan yang dalam yang perlu ditangani. Jadi saya percaya bahwa kombinasi dari gerakan kerja yang sudah terjadi sekarang dan perhatian yang meningkat pada sistem seperti ini benar-benar dapat menciptakan tekanan luar biasa untuk menciptakan sistem sosial yang lebih adil secara keseluruhan.