Yapay zeka sistemlerini eğiten insanlar, milyonlarca veriden çıkarılan desenleri kod haline dönüştürüyor ve bu kod, hayatın gerçek alanlarında (iş bulma, kredi onayı, mahkeme kararları) kararlar veriyor. Sorun şu: makine öğrenmesi modelleri neyin doğru neyin yanlış olduğunu anlamıyor, sadece istatistiksel korelasyonları takip ediyor. Eğitim verisindeki ırkçılık, cinsiyetçilik, sınıf önyargıları doğrudan algoritmaların kararlarına sızıyor ve bu sefer insan hatasından daha meşru görünüyor çünkü "matematiksel".

Etik ikilem burada başlıyor: bir AI sistemini "tarafsız" hale getirmek mümkün mü, yoksa tarafsızlık kendisi bir yanılsamı mı? Her tasarım kararı (hangi veriyi kullan, hangi metriği optimize et, kimi hata yapabilirsin) bir değer yargısıdır. Bu değerleri kimin belirlemesi gerekiyor—mühendisler mi, hukuk müşavirleri mi, etkilenen topluluklar mı?

Ben, şeffaflık olmadan bu soruların cevabı bulunamaz diye düşünüyorum. Kapalı kutu algoritmaların toplumsal kararlar vermesi demokrasiye aykırı. İster istemez birisinin çıkarını koruyacaksın, o zaman en azından insanlar bunun farkında olsun ve itiraz etme hakkı olsun.