Yapay zeka etki değerlendirmesi: sistemin kişilere ve topluma etkisini ölçmek
Yapay zeka etki değerlendirmesi, bir sistemin kullanıma girmeden önce kimleri nasıl etkileyeceğini sorgular: olası zararları ve faydaları belirler, önlemleri planlar ve devam edip etmeme kararını kayda geçirir.
Bir bakışta
- Odak, kurumun değil etkilenen kişilerin riskidir. Kurumsal risk yönetimi şirketin kaybına bakar; etki değerlendirmesi karardan etkilenen kişi ve grupların uğrayabileceği zarara bakar.
- Tetikleyici, kişiler hakkında karar etkisidir. İşe alım, kredi, sağlık ve hizmete erişim gibi alanlarda ya da kırılgan gruplara dokunan kullanımda tam değerlendirme beklenir.
- Değerlendirme, kullanıma girmeden önce yapılır. Sistem yayına alındıktan sonra bulunan zararı gidermek, tasarım aşamasında önlemek kadar kolay değildir.
- Sonuç bir belge değil, bir karardır. Devam, koşullu devam ya da durdurma kararı gerekçesiyle birlikte yazılır.
- Etki zamanla değişir. Veri, kullanım amacı ya da kullanıcı kitlesi değişince değerlendirme yenilenir.
Yapay zeka etki değerlendirmesi nedir?
Etki değerlendirmesi, bir yapay zeka sisteminin kullanımının kişiler, gruplar ve toplum üzerinde yaratabileceği sonuçları önceden inceleyen yapılandırılmış bir çalışmadır. Sorduğu temel soru şudur: bu sistem iyi çalışsa da çalışmasa da kimler nasıl etkilenir?
Kurumsal yapay zeka risk yönetimi ile karıştırılmamalıdır. Risk yönetimi, kurumun uğrayabileceği kayıplara bakar: hukuki, finansal, itibar ve operasyonel riskler. Etki değerlendirmesi ise karardan etkilenen kişilerin perspektifinden başlar: ayrımcılığa uğrama, mahremiyet ihlali, hizmete erişememe, hatalı bir karara itiraz edememe. İkisi örtüşür ama aynı değildir; birinde sorulan "bize ne olur", diğerinde "onlara ne olur" sorusudur.
Bu çalışmada hukuki yorum yapılmaz. Yürürlükteki düzenlemelerin gerektirdiği yükümlülüklerin belirlenmesi hukuk ve uyum ekibinin işidir; etki değerlendirmesi bu çalışmaya girdi sağlar.
Ne zaman gerekir?
Her yapay zeka kullanımı aynı derinlikte değerlendirme gerektirmez. Metin yazım yardımcısı gibi iç kullanımlı bir araç hafif bir kontrolle geçebilir; kişiler hakkında karar etkisi taşıyan sistemler tam değerlendirme ister.
Tipik tetikleyiciler şunlardır: işe alım, performans değerlendirme, kredi, sağlık, eğitim ya da kamu hizmetleri gibi kişinin hayatını etkileyen kararlar; kişisel ya da hassas verinin işlenmesi; çocuklar, yaşlılar veya dezavantajlı gruplar gibi kırılgan kişilerin etkilenmesi; kararın otomatik ve itiraz edilmesi zor olması. Yeni bir kullanım amacı, yeni bir veri kaynağı ya da kapsamın genişlemesi de yeniden değerlendirme sebebidir.
Tetikleyiciler kurumsal bir ön elemeyle bağlanır. Ön eleme formu kısa sorulardan oluşur ve vakayı uygun derinliğe yönlendirir.
Adım adım değerlendirme
Değerlendirme bir sıra izler. Önce sistem ve bağlam tanımlanır: amaç, kullanılan veri, çıktının nasıl kullanılacağı, insanın rolü. Sonra etkilenen kişiler ve gruplar belirlenir. Ardından her grup için olası etkiler, yani hem zararlar hem faydalar çıkarılır. Etkiler ciddiyet ve olasılığa göre derecelendirilir.
Sonrasında önlemler planlanır ve kalan risk değerlendirilir. Son adım karardır: devam, koşullu devam ya da durdurma. Karar gerekçesiyle birlikte yazılır, sahibi atanır ve izleme planı eklenir.
Bu sıra mekanik görünse de her adım bir önceki adımın çıktısına bağlıdır. Etkilenenleri eksik belirlerseniz etkileri eksik bulursunuz; etkileri eksik bulursanız önlemler yetersiz kalır.
Her adım bir öncekinin çıktısına dayanır
Etki değerlendirmesi sırası
- Sistemi tanımlaAmaç, veri, çıktının kullanımı ve insanın rolü.
- Etkilenenleri belirleDoğrudan ve dolaylı etkilenenler, kırılgan gruplar.
- Etkileri çıkarHer grup için olası zarar ve faydalar.
- DerecelendirCiddiyet ve olasılığa göre sıralanır.
- Önlem planlaAzaltıcı önlemler ve kalan risk.
- Karar ver ve kaydetDevam, koşullu devam ya da durdur.
Etkilenenleri ve etkileri belirlemek
Sık eksik bırakılan bölümlerden biri budur. Sistemi kullanan kişi çoğu zaman karardan etkilenen kişi değildir: işe alım aracını İK uzmanı kullanır, ama etkilenen aday ve onun gibi başvuranlardır. Bu yüzden etkilenen grupları sistemi kullananlarla sınırlamak yanlış olur. Doğrudan etkilenenlerin yanında dolaylı etkilenenler de düşünülür: kararı verilen kişinin ailesi, bir gruba yönelik önyargının pekişmesiyle damgalanan topluluk gibi.
Etkilenenlerle konuşmak mümkünse değerlendirmeyi güçlendirir. Temsilci gruplar, çalışan temsilcileri ya da kullanıcı araştırmaları, ekibin göremediği sorunları görünür kılar.
Etkiler zarar ve fayda olarak birlikte ele alınır. Yalnız zararlara odaklanmak sistemi gereksiz yere engelleyebilir; yalnız faydalara odaklanmak ise sorunları gizler. Önemli olan, kimin fayda gördüğü, kimin zarar riski taşıdığı ve bu dağılımın adil olup olmadığıdır.
Önlemler, kalan risk ve karar
Zarar belirlendikten sonra önlem seçilir. Yaygın önlemler arasında insan gözetimi, itiraz ve düzeltme yolu, kullanılan verinin sınırlandırılması, gruplar bazında performans testi, kullanıcıların sistemden haberdar edilmesi ve kritik kararlarda otomatik işlemenin devre dışı bırakılması bulunur.
Önlem uygulandıktan sonra kalan risk değerlendirilir. Kalan risk kabul edilebilir mi, kim kabul ediyor, hangi koşullarla? Kabul kararını riski yaratan ekibin tek başına vermemesi, daha üst bir yetkiliye ya da bir kurula bırakması iyi bir uygulamadır.
Karar gerekçeyle yazılır. Koşullu devam kararlarında koşullar ve izleme göstergeleri belirlenir; bunların takibi ayrı bir sahibe atanır. Durdurma kararı da bir sonuçtur; değerlendirme yapılmış ve riskli bir kullanım önlenmiştir.
Örnek: randevu önceliklendirme aracı
Kurgusal bir sağlık hizmeti sağlayıcısı, randevu taleplerini aciliyete göre sıralayan bir yapay zeka aracı kullanmayı planlıyor. Etkilenenler yalnız randevu sistemini kullanan hastalar değil; telefonla başvuran yaşlı hastalar, dijital kanalı kullanamayan kişiler ve kronik rahatsızlığı olanlardır.
Değerlendirme şu etkileri bulur. Fayda: acil vakaların daha hızlı fark edilmesi. Zarar riski: dijital kanalla gelen talepler daha ayrıntılı bilgi içerdiği için, telefonla gelen taleplerin sistemde geri sıralanma ihtimali.
Önlemler: telefon taleplerinin de aynı biçimde kaydedilmesi, belirli semptomlarda sistem çıktısına bakılmaksızın insan incelemesi, farklı başvuru kanalları bakımından sıralama sonuçlarının düzenli karşılaştırılması ve hastaların itiraz edebilmesi. Karar koşullu devamdır ve izleme sorumlusu atanır.
İzleme, yeniden değerlendirme ve sık hatalar
Değerlendirme yayın öncesinde biter gibi görünür, ama etki sistem çalıştıkça değişir. İzleme göstergeleri koşullu kararla birlikte belirlenir: şikayetler, itirazlar, gruplar arası sonuç farkları. Bu göstergeler eşiği aştığında ya da amaç, veri veya kullanıcı kitlesi değiştiğinde değerlendirme yenilenir.
Sık hatalar şunlardır. Değerlendirmeyi yayına çıkıştan hemen önce yapıp değişiklik yapamayacak kadar geç kalmak. Etkilenenleri yalnız kullanıcılarla sınırlamak. Yalnız teknik ekibin yapması; hukuk, uyum, alan uzmanı ve temsil edilen grupların bakışı olmadan eksik kalır. Formu doldurulacak bir görev olarak görmek ve sonuca göre bir şey değiştirmemek. İzlemeyi ve yeniden değerlendirmeyi atlamak.
Etki değerlendirmesi yayınla bitmez
Yeniden değerlendirme döngüsü
- DeğerlendirKullanıma girmeden etkiler ve önlemler belirlenir.
- Yayına alKoşullar ve izleme göstergeleriyle başlar.
- İzleŞikayet, itiraz ve grup farkları gözlenir.
- YenileDeğişiklik ya da sapma varsa değerlendirme güncellenir.
Bu beceriyi Mindset programlarında nerede çalışırsınız
Yapay Zeka Uyum ve Etik Uzmanlığı programı, yüksek riskli sistemler ve teknik dokümantasyonu, önyargı ve adalet risklerini ayrı modüllerde ele alır. Yapay Zeka Dönüşüm Danışmanlığı programının risk, etik ve mevzuat uyumu modülü de aynı konuyu dönüşüm bağlamında işler. Yapay zeka projelerinin etkisini değerlendirecek uyum, risk ve ürün sorumluları için ilgili bir zemindir.
İlgili Mindset programı
Yapay Zeka Uyum ve Etik Uzmanlığı (AI Governance) Sertifika Programı
Sık sorulan sorular
Etki değerlendirmesi ile risk değerlendirmesi arasındaki fark nedir?
Risk değerlendirmesi çoğunlukla kurumun uğrayabileceği kayıplara bakar. Etki değerlendirmesi ise sistemin kararından etkilenen kişilerin ve grupların perspektifinden başlar. İkisi birbirini tamamlar: biri kurumu korur, diğeri kurumun başkalarına verebileceği zararı önler.
Hangi sistemler için etki değerlendirmesi yapılmalı?
Kişiler hakkında karar etkisi taşıyan, kişisel ya da hassas veri işleyen, kırılgan grupları etkileyen veya itiraz edilmesi zor otomatik kararlar veren sistemler için. İç kullanıma dönük düşük riskli araçlarda hafif bir ön eleme yeterli olabilir. Hangi yükümlülüklerin geçerli olduğunu hukuk ve uyum ekibi belirler.
Değerlendirmeyi kim yapmalı?
Çok disiplinli bir ekip. Sistem sahibi, veri ve teknoloji uzmanı, hukuk ve uyum temsilcisi, ilgili alanın uzmanı ve mümkünse etkilenen grupları temsil eden biri. Yalnız geliştirici ekibin yaptığı değerlendirme, kendi varsayımlarını sorgulamakta zorlanır.
Değerlendirme sonunda sistem durdurulabilir mi?
Evet. Riskler önlemlerle yeterince azaltılamıyorsa ya da fayda zararı dengelemiyorsa durdurma kararı çıkabilir. Bu bir başarısızlık değildir; riskli bir kullanımın yayına çıkmadan önlenmesidir. Karar gerekçesiyle kaydedilir ve gerekirse koşullar değiştiğinde yeniden değerlendirilir.
Etki değerlendirmesi ne sıklıkla yenilenir?
Sabit bir takvimden çok, değişiklik ve izleme bulgularına bağlıdır. Kullanım amacı, veri kaynağı ya da kullanıcı kitlesi değiştiğinde ve izleme göstergeleri eşiği aştığında yenilenir. Ayrıca düzenli aralıklarla gözden geçirmek, fark edilmeyen sapmaları yakalar.