Yapay zeka sistemlerinde önyargıyı tespit etmek ve azaltmak

Yapay zekada önyargı ne demektir?

Yapay zekada önyargı, bir sistemin belirli kişi ya da gruplar için sistematik olarak daha kötü ya da haksız sonuç üretmesidir. Örneğin bir işe alım modeli, geçmişte erkek adayların ağırlıklı işe alındığı verilerle eğitildiğinde kadın adayları sürekli geri sıralayabilir; bir kredi değerlendirme modeli, yaşadığı bölge nedeniyle bazı başvuruculara olumsuz puan verebilir. Kimse bunu bilinçli olarak programlamamıştır; model, verideki örüntüyü öğrenmiştir.

Bu yüzden önyargı bir kötü niyet sorunu olmaktan çok bir tasarım ve denetim sorunudur. Sistem tarafsız görünür çünkü matematiksel bir çıktı üretir, ama çıktı onu besleyen verinin ve tasarım tercihlerinin sonucudur. Önyargıyı azaltmak, bu tercihleri görünür kılıp ölçmekle başlar.

Önyargı nereden gelir?

Önyargı yaşam döngüsünün farklı aşamalarından sızabilir ve kaynağı bulmak çözümün yarısıdır.

Veri aşamasında, geçmiş kararlar toplumsal eşitsizlikleri yansıtır; bazı gruplar veri setinde yeterince temsil edilmez; etiketleme yapan kişilerin yargıları verinin içine işlenir. Özellik seçiminde, doğrudan korunan bir özellik çıkarılsa bile posta kodu ya da okul gibi vekil değişkenler aynı bilgiyi dolaylı taşıyabilir.

Model aşamasında, genel doğruluğu artırmak için seçilen amaç fonksiyonu, azınlık gruplarındaki hataları gözden kaçırabilir. Kullanım aşamasında ise sistem, tasarlandığından farklı bir nüfusa ya da bağlama uygulanabilir; ya da insanlar modelin önerisine fazla güvenip kendi yargılarını bırakabilir.

Bir de geri besleme döngüleri vardır: Model kararlarını veri olarak yeniden öğrenirse başlangıçtaki küçük bir yanlılık zamanla büyür.

Önyargıyı tespit etme: grup bazlı ölçüm

Önyargıyı bulmanın temel yolu, model performansını genel ortalamada değil gruplara ayrılmış hâlde incelemektir. Genel olarak yüksek doğruluk, bir grup için çok kötü sonuç vermeyi gizleyebilir. Ekipler hangi grupların kritik olduğunu önceden belirler: cinsiyet, yaş, bölge, engel durumu gibi, ilgili yasa ve bağlama uygun grupları kapsar.

Sonra bu gruplar için hata oranları, kabul oranları ve yanlış reddetme oranları karşılaştırılır. Adalet için tek bir tanım yoktur; farklı ölçütler (karar oranlarının eşitliği, hata oranlarının eşitliği gibi) bazen birbirleriyle çelişir. Hangi ölçütün seçileceği teknik değil, bağlama göre verilen bir değer kararıdır ve ilgili paydaşlarla tartışılmalıdır.

Sayısal ölçüme niteliksel inceleme eklenir: Hatalı örnekler elle incelenir, etkilenen kişilerle konuşulur, kullanıcı şikâyetleri analiz edilir. Birçok önyargı, ancak sistemin gerçek hayattaki etkisine bakıldığında görünür.

Önyargıyı azaltma teknikleri

Müdahale, önyargının kaynağına göre seçilir. Müdahale ana aşamalarda yapılabilir.

Eğitim öncesi: Veri setini dengelemek, eksik temsil edilen grup için veri toplamak, etiketleme ölçütlerini yeniden düzenlemek ve vekil değişkenleri gözden geçirmek.

Eğitim sırasında: Adalet kısıtı içeren amaç fonksiyonları kullanmak, grup başına ayrı performans hedefi koymak, modelin hassas özelliği tahmin edebildiği durumları sınırlamak.

Eğitim sonrası: Karar eşiğini gruplar için ayrı ayarlamak, çıktıları düzeltmek, belirsiz durumlarda insan incelemesine yönlendirmek.

Her müdahalenin bir bedeli olabilir: Adalet artarken genel doğruluk düşebilir ya da farklı bir adalet ölçütü bozulabilir. Bu denge kararları şeffaf biçimde belgelenir. Teknik düzeltmeler yetmez; süreç tarafı da gerekir: Çeşitli bir ekip, bağımsız inceleme ve riskli kararlarda insan denetimi.

Kurumsal adalet politikası ve sürekli izleme

Önyargı bir kez giderilip kapatılan bir konu değildir; veri ve kullanım zamanla değiştiği için sürekli izlenir. Kurumların bunu yönetebilmesi için bir adalet politikası gerekir. Politika; hangi sistemlerin yüksek riskli sayıldığını, kimin onay verdiğini, hangi ölçümlerin hangi sıklıkla yapılacağını ve sorun bulunduğunda kimin sorumlu olduğunu tanımlar.

İzleme sistemi canlıdaki model çıktılarını gruplar bazında takip eder, belirlenen eşik aşıldığında uyarı verir ve gerektiğinde modeli geri çeker ya da yeniden eğitir. Kayıtlar ilerideki denetimler için saklanır. İtiraz mekanizması da önemlidir: Karardan etkilenen kişi, kararın gerekçesini sorabilmeli ve insan incelemesi talep edebilmelidir.

Yasal çerçeve de gittikçe önem kazanır. Kişisel veri koruma düzenlemeleri ve yapay zeka düzenlemeleri, belirli kullanımlar için şeffaflık ve denetim gerektirir; hukuk ekipleriyle birlikte çalışmak gerekir.

Sık yapılan hatalar

Önyargı çalışmalarında tekrar eden hatalar şunlardır: • Hassas özelliği veri setinden çıkarıp sorunu çözdüğünü sanmak; vekil değişkenler aynı bilgiyi taşır • Yalnızca genel doğruluğa bakmak ve grup bazlı farkları ölçmemek • Tek bir adalet ölçütünü bağlamı tartışmadan seçmek • Değerlendirmeyi yalnızca modelin yayınlanmasından önce yapıp canlıda izlememek • Önyargı çalışmasını yalnızca veri bilimcilere bırakıp etkilenen grupları ve alan uzmanlarını dışarıda tutmak • Bulguları belgelemeden ve karar sahiplerine iletmeden geçiştirmek

Örneğin bir işe alım modelinde kadın adaylar için yanlış reddetme oranı belirgin biçimde yüksek çıkıyorsa, ekip önce özellikleri ve etiketleri inceler, ardından veri dengelemesi ya da eşik ayarı gibi bir müdahaleyi dener, sonra sonucu yeniden ölçer. Bu döngü, kalıcı bir çalışma biçimi olmalıdır.

Önyargı konuşulması rahatsız edici olabilir, çünkü sistemin kusurunu kabul etmeyi gerektirir. Bu nedenle sorunu bulan ekibi ödüllendiren, bulguyu saklamayan bir kurum kültürü, teknik yöntemler kadar önemlidir.

Mindset programlarında bu beceri

Mindset'in Yapay Zekada Önyargı (Bias) ve Adalet Yönetimi eğitimi bu akışı modüllerle işler: Yapay Zekada Önyargı Temelleri, Önyargı Tespit Yöntemleri, Önyargı Giderme Teknikleri, Kurumsal Adalet Politikası Oluşturma, Sürekli Adalet İzleme Sistemi.

Veri Etiği Temelleri eğitiminde ise KVKK ve Kişisel Verilerin Korunması, Algoritma Önyargısı ve Adil Yapay Zeka, Etik Karar Verme Çerçeveleri ve Sürdürülebilir Veri Etiği Kültürü modülleri bulunur. Veri bilimciler, ürün yöneticileri, risk ve uyum ekipleri ile yapay zeka sistemlerini kurumda kullanan yöneticiler için uygundur.