Sadakati Önermek
Sadakatsizlik; suçtan hüküm giymiş bir kişinin tekrar suç işlemesi ihtimalidir. İşte bu oran tahmin algoritmaları tarafından belirlenmektedir. Sonuçta verilen kararlardan kişinin; şartlı tahliye edilip edilmediğine kadar her şeyi etkileyebilir.
Dartmouth College araştırmacıları Julia Dressel ve Hany Farid liderliğindeki ekip, bu algoritmaların pratikte ne kadar doğru olduğunu belirlemek için, Alternatif Yaptırımlar İçin İyileştirici Suçlu Yönetimi Profillemesi (COMPAS) olarak bilinen ve yaygın olarak kullanılan bir ticari risk değerlendirme yazılımı üzerine araştırma yürüttü. Yazılım; bir kişinin mahkumiyetini izleyen iki yıl içinde tekrar suç işleyip işlemeyeceğini belirtiyor.
Çalışmada, COMPAS’ın suç oranları tahmininde hiçbir ceza almayan ve deneyimi olmayan bir grup gönüllüye nazaran, daha önce suç işleyenlerin tekrar suç işleme eğiliminin daha fazla olduğu gösterildi. Dressel ve Farid, bir web sitesinden gönüllü listesine girdiler ve listeleri rastgele atadılar. Gönüllülere her sanığın cinsiyeti, yaşı ve önceki ceza geçmişi anlatıldı ve onlardan önümüzdeki iki yıl içinde tekrar suç işleyip işlemeyeceklerini öngörmeleri istendi.
Gönüllülerin tahminlerinin doğruluğu, yüzde 62.1’lik ortalama ve yüzde 64.0’lık bir ortalama içeriyordu. Yüzdeler COMPAC’ın doğruluğuna çok yakın, ki bu yüzde 65.2 idi.
Buna ek olarak, araştırmacılar, tekrar suç işlemelerini öngörme oranları için COMPAS’ın; 137 özelliğe sahip olmasına rağmen, yalnızca iki özellikli (sanıkların yaşı ve önceki mahkumiyetlerin sayısı) doğrusal öngörücülerle, çalıştığını fark ettiler.
Önyargı Problemi
Ekip için kaygılanılan bir alan da Algoritmik Yanlılık Potansiyeli idi. Çalışmalarında hem insan gönüllüleri hem de COMPAS; sanıkların tahminlerini yaparken ırklarını bilmese de, siyah sanıklar için tekrar suçlamanın öngörülmesinde benzer sahte pozitif oranlar sergiledi. Siyah olan sanıklar için yanlış pozitif oran yüzde 37 iken, beyaz sanıklar için yüzde 27 idi. Bu oranlar, COMPAS’dan gelenlere oranla oldukça yakındı: siyahların % 40’ı, beyaz sanıkların ise % 25’i…
Rapordaki tartışmada ekip; “siyah-beyaz sanıkların tutuklanma oranındaki farklılıkların yanlış pozitif ve yanlış negatif oranların ırkla doğrudan karşılaştırılmasını zorlaştırdığını” belirtti. Bu, NAACP* verileriyle desteklendi; örneğin, “Afrikalı Amerikalılar ve beyazlar benzer oranlarda uyuşturucu kullanıyor, ancak Afrika kökenli Amerikalıların uyuşturucu suçlamasıyla ilgili hapis oranı, beyazların neredeyse 6 katı.”
*Siyahi İnsanların Gelişmesi İçin Ulusal Birlik
Yazarlar değerlendirmede; bir kişinin özellikleri açıkça belirtilmemiş olmasına rağmen; verilerin belirli yönlerinin potansiyel olarak ırk ile ilişkili olabildiğini ve sonuçlarda da farklılıklara neden olduğunu belirtti. Aslında, ekip çalışmayı yeni katılımcılar ile tekrarladığında ve ırksal veriler sunduğunda sonuçlar yine aynıydı. Ekip, “ırkın değerlendirilmemesinin; insanların tekrar suç tahmininde bulunurken, ırk farklılıklarının ortadan kaldırılmasına neden olmadığı” sonucuna vardı.
Tekrarlanan Sonuçlar
COMPAS; 1998 yılında geliştirildikten sonra, 1 milyondan fazla kişiyi değerlendirmek için kullanılmıştır (ancak, tekrar suç öngörme bileşeni 2000 yılına kadar dahil edilmemiştir). Bu bağlamda, araştırmacılar; çalışmanın bulgularını (ceza alımında çok az tecrübeye sahip olan ya da hiç deneyimi olmayan gönüllüler grubunun algoritma ile aynı performansı göstermesini) endişe verici buluyor.
Açıkça ortaya çıkacak sonuç, tahmini algoritmanın yeterince sofistike olmadığı ve güncellenecek kadar gecikmiş olması olacaktır. Bununla birlikte; ekip bulgularını doğrulamaya hazır olduğunda, aynı verilerle daha güçlü bir Doğrusal Olmayan destek Vektör Makinesi (NL-SVM) eğitti. Çok benzer sonuçlar ürettiğinde, ekip yeni algoritmayı verilere çok yakından eğitebileceği varsayıldığında gerileme ile karşı karşıya kaldı.
Dressel ve Farid, algoritmayı, verilerin yüzde 80’inde özel olarak eğittiklerini, daha sonra “aşırı uyumsuz” denen şeyden kaçınmak için kalan yüzde 20’lik testlerle yürüttüğünü söyledi. (Veriler çok fazla tanıdık olursa, algoritmanın doğruluğu etkilenecektir.)
Tahmin Algoritmaları
Araştırmacılar, belki de söz konusu verilerin doğrusal olarak ayrılabilir olmadığı sonucuna vardılar; bu da, tahmin edici algoritmaların, ne kadar sofistike olursa olsun, tekrar suç işlemeyi öngörmek için etkili bir yöntem olmadığı anlamına gelebilir. Dartmouth’daki Ekip; sanıkların geleceklerinin dengede kalması göz önüne alındığında; bu tespitleri yapmak için bu tür algoritmaların dikkatli kullanılması gerektiğini belirtiyor.
Çalışmaların sonuçlarında da görüldüğü gibi; bu değerlendirme için bir algoritmaya güvenmek, ekibin de belirttiği gibi;
“…çevrimiçi bir ankete yanıt veren rastgele kişilerin karar vermesinden farklı bir şey değil; bu iki yaklaşımdan elde edilen sonuçlar da, ayırt edilemez görünmekte…”
Sonuçlar gösteriyor ki; tahmini algoritmalar adalet sisteminde kullanılamaz. Aslında bunlarla her gün çevrimiçi reklamı yapılan ürünlerde ya da müzik önerileri v.b. uygulamalarda karşılaşıyoruz. Ancak, haber akışımıza giren bir reklam; birisini suçtan mahkûm etme kararından çok daha az sonuçlar doğuruyor.
