Yapay zeka sistemi dokümantasyonu: model kartı ve teknik dosya hazırlama

Yapay zeka dokümantasyonu neden ayrı bir beceridir?

Klasik yazılım dokümantasyonu, sistemin nasıl çalıştığını kodun belirlediği davranışla anlatır. Yapay zeka sistemlerinde davranışın büyük kısmı eğitim verisinden ve model parametrelerinden doğar; bu yüzden aynı kod, farklı veriyle farklı sonuç üretir. Dokümantasyon da yalnızca kodu değil, verinin kaynağını, seçilen yöntemi, ölçülen performansı ve bilinen sınırlamaları kayda geçirmek zorundadır.

Belgenin okuyucuları farklıdır: modeli devralan mühendis, kullanım kararını veren iş birimi, riski değerlendiren uyum ekibi, tedarikçiyi inceleyen müşteri ve bazı durumlarda düzenleyici kurum. İyi bir dokümantasyon, bu okuyucuların her birinin sorusuna model sahibini aramadan yanıt verir.

Model kartı nedir, neleri içerir?

Model kartı, tek bir modeli kısa ve standart bir biçimde tanıtan belgedir. Amacı, modelin ne için yapıldığını, ne için kullanılmaması gerektiğini ve hangi koşullarda nasıl davrandığını yeterince anlatmaktır. Biçimi kuruma göre değişir, ancak çoğu kartta şu bölümler bulunur:

• Model özeti: ad, sürüm, sahibi, amaç ve model türü.
• Kullanım amacı: hedeflenen kullanıcılar, desteklenen senaryolar ve kapsam dışı kullanımlar.
• Eğitim ve veri: veri kaynakları, toplama dönemi, temizleme adımları, bilinen eksiklikler.
• Değerlendirme: kullanılan test seti, ölçütler ve alt gruplara göre sonuçlar.
• Sınırlamalar ve riskler: hata yapma eğilimleri, önyargı bulguları, güvenli olmayan kullanım örnekleri.
• İzleme ve bakım: performansın nasıl takip edildiği, ne zaman yeniden eğitildiği, olay durumunda kime ulaşılacağı.

Kart kısa tutulur; ayrıntı gerektiren konular teknik dosyaya bağlanır.

Teknik dokümantasyon dosyası: kartın derinleşmiş hâli

Yüksek riskli ya da denetime tabi sistemlerde model kartı yetmez. Bir teknik dosya, kartın yüzeyde bıraktığı soruları ayrıntılı olarak yanıtlar. Dosyada tipik olarak sistemin genel tanımı ve mimarisi, veri yönetimi uygulamaları, tasarım tercihleri ve gerekçeleri, test ve doğrulama yöntemleri, insan gözetimi önlemleri, siber güvenlik ve dayanıklılık uygulamaları, risk yönetimi çıktıları ve sürüm geçmişi yer alır.

Avrupa Birliği Yapay Zeka Yasası gibi düzenlemeler yüksek riskli sistemler için teknik dokümantasyonu zorunlu kılar; ancak hangi sistemin bu kapsama girdiği ve belgenin tam içeriği, geçerli mevzuat metninden kontrol edilmelidir. Bir kurumun dosyayı baştan sonra yazması gerekmeden önce, hangi sistemlerin kapsamda olduğunu envanterle belirlemesi gerekir.

Adım adım hazırlama akışı

Dokümantasyonu proje bittikten sonra yazmak, bilginin kaybolmasına yol açar. Sağlam bir akış, geliştirme sırasında bilgi toplar:

• Kapsamı belirleyin: sistem hangi karara girdi sağlıyor, kim kullanıyor, hangi veriyi işliyor?
• Veri izini tutun: her veri kümesinin kaynağı, izin dayanağı, sürümü ve yapılan dönüşümler, geliştirme esnasında not edilsin.
• Deney kayıtlarını saklayın: denenen modeller, parametreler ve sonuçlar bir deney takip aracında toplansın.
• Değerlendirmeyi alt gruplara ayırın: toplam başarı yerine farklı kullanıcı grupları ve koşullar için ayrı sonuçlar yazın.
• Sınırlamaları açıkça yazın: modelin başarısız olduğu durumlar belgenin en değerli kısmıdır.
• Onay ve sürüm: hazırlanan kartı model sahibi, risk ya da uyum sorumlusu gözden geçirsin; onay tarihi ve sürüm kaydedilsin.

Örnek: kredi başvuru ön eleme modeli için kart

Örneğin bir finans kuruluşu, başvuruları sıralayan bir ön eleme modeli kullanıyor. Kartın kullanım amacı bölümünde modelin yalnızca analistlere öncelik önerisi sunduğu, nihai ret ya da onay kararı vermediği yazılır. Kapsam dışı kullanım olarak modelin başka bir ürün grubuna ya da farklı bir müşteri kitlesine uygulanmaması belirtilir.

Veri bölümünde eğitim verisinin hangi dönemden ve hangi kanaldan geldiği, eksik kayıtların nasıl ele alındığı anlatılır. Değerlendirme bölümünde başarı, tek bir toplam değer yerine yaş grubu, bölge ve başvuru kanalı gibi kesitlerde ayrı ayrı gösterilir; kesitler arasında fark çıkarsa nedeni ve alınan önlem yazılır. İzleme bölümü, performansın hangi sıklıkla kontrol edildiğini ve sapma durumunda kimin model kullanımını durdurabileceğini söyler.

Yaygın hatalar ve kaçınma yolları

En sık görülen hata, belgenin yalnızca bir kez, devreye alma sırasında yazılıp bir daha açılmamasıdır. Model yeniden eğitildiğinde ya da veri kaynağı değiştiğinde kart eskir ve yanıltıcı hâle gelir. Çözüm, belgeyi model sürümüne bağlamak ve sürüm değişikliğini belge güncellemesi olmadan tamamlanmış saymamaktır.

İkinci hata, yalnızca olumlu sonuçları yazmaktır. Sınırlamalar bölümü boş ya da genel ifadelerle doldurulmuşsa belge güven vermez. Üçüncü hata, aşırı teknik dil kullanıp iş birimini dışarıda bırakmaktır: kullanım amacı ve sınırlamalar bölümleri teknik olmayan okuyucunun anlayacağı sade bir dille yazılmalıdır. Son olarak, belgeyi tek bir kişiye bağlamak risklidir; model sahibi değiştiğinde bilgi kaybolmasın diye belge ortak bir depoda tutulur.

Dokümantasyonu canlı tutmak

Belge, kod gibi sürüm kontrolü altında yönetildiğinde güncel kalma ihtimali artar. Kartın kaynağı düz metin ya da yapılandırılmış bir dosya olarak model deposunda tutulursa, her sürüm değişikliğinde incelemeye düşer. Değerlendirme sonuçları elle kopyalanmak yerine otomatik test çıktısından beslenirse tutarsızlık azalır.

İkinci araç düzenli gözden geçirme takvimidir: performans izleme sonuçları geldiğinde, olay yaşandığında ya da kullanım amacı genişlediğinde kart yeniden okunur. Eski sürümlerin arşivlenmesi, geçmişte verilen bir kararın hangi model sürümüne dayandığını ispatlamayı sağlar.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Yapay Zeka Uyum ve Etik Uzmanlığı (AI Governance) Sertifika Programı, modül başlıkları arasında Yüksek Riskli Sistemler ve Teknik Dokümantasyon, Şeffaflık, Açıklanabilirlik ve İnsan Gözetimi, Yapay Zeka Yaşam Döngüsü ve Risk Temelleri ile Standartlar ve Çerçeveler konularını içerir.

Program, yapay zeka ürünleri geliştiren ekipler kadar bu sistemleri satın alan ya da denetleyen uyum, risk ve hukuk ekipleri için de uygundur. Belgeleme beceresi bu rollerde ortak dil sağlar: geliştirici kartı yazar, uyum sorumlusu okur ve eksik gördüğü noktaları geri bildirir.