Yapay zeka çözümü için gereksinim belirlemek: veri, model ve kabul ölçütü

Yapay zeka gereksinimleri neden farklı yazılır?

Geleneksel yazılımda kural açıkça yazılır ve sonuç öngörülebilirdir. Makine öğrenmesinde kural, verideki örneklerden öğrenilir; sonuç olasılıksaldır ve modelin kalitesi verinin kalitesine bağlıdır. Bu yüzden "sistem faturadaki toplamı okusun" gibi bir cümle tek başına yetmez: okuma ne kadar doğru olacak, hangi tür faturalarda zorlanacak, yanlış okunduğunda ne olacak?

Bir yapay zeka çözümünün gereksinimleri dört katmanda ele alınır: iş sorunu ve karar, veri, model davranışı ve kabul. Bu katmanlar birbirini izler; belirsiz bir iş sorunu belirsiz bir veri talebine, o da ölçülemeyen bir kabul ölçütüne yol açar.

NIST'in yapay zeka risk yönetimi çerçevesi, güvenilirlik unsurlarını yapay zeka sistemlerinin tasarımına, geliştirilmesine, kullanımına ve değerlendirilmesine baştan katmayı amaçlayan gönüllü bir çerçevedir. Gereksinim aşamasında bu fikri benimsemek, sonradan eklenen düzeltmeleri azaltır.

İş sorununu ve kararı tanımlamak

İlk soru, yapay zekanın gerçekten gerekli olup olmadığıdır. Kurallarla çözülebilen, nadiren değişen ve az sayıda istisnası olan bir iş için model eğitmek gereksiz karmaşıklıktır. Yapay zeka; kuralı yazmanın zor olduğu, çok sayıda örnekten örüntü çıkarılabilen işlerde anlam kazanır.

Sonra karar tanımlanır. Model bir öneri mi sunuyor, otomatik eylem mi başlatıyor, yoksa yalnızca bir insanın önüne sıralı bir liste mi koyuyor? Kullanım biçimi, hata toleransını belirler: öneri sunan modelde yanlış sonuç bir insan tarafından düzeltilebilir; otomatik eylem başlatan modelde yanlışın bedeli doğrudan işe yansır.

Bu aşamada iş sonucu da yazılır: süre kısalması, yanlış yönlendirmenin azalması ya da daha tutarlı karar gibi. Bu hedef, model ölçütlerinden ayrıdır; model iyi çalışıp iş sonucu değişmeyebilir, bunu yakalamak için ikisi birlikte izlenir.

Veri gereksinimleri

Veri gereksinimi, modelin neye bakarak öğreneceğini ve çalışırken neye bakacağını yazar. Kaynakları, yani verinin hangi sistemlerden geleceğini; kapsamı, yani hangi dönem, hangi müşteri grubu, hangi ürünlerin dahil olacağını; ve yeterliliği, yani nadir ama önemli durumların örneklerinin bulunup bulunmadığını içerir.

Etiket kalitesi ayrı bir maddedir. Etiketler elle verilmişse tutarlılık nasıl sağlanacak, iki etiketleyici anlaşmazsa kim karar verecek? Yanlış etiket, modeli yanlış öğretir ve sorun genelde ancak test aşamasında fark edilir.

Son olarak güncellik, kişisel veri ve izin yazılır. Verinin hangi amaçla toplandığı, model eğitiminde kullanılmasına uygun olup olmadığı ve saklama kuralları kaynak sahibi ve hukuk ekibiyle netleştirilir. Üretimde gelecek verinin eğitim verisine benzeyeceği varsayımı da açıkça yazılır, çünkü bu varsayım bozulduğunda performans düşer.

Model başarı ölçütleri

"Model çok doğru olsun" bir gereksinim değildir. Önce hata türleri ayrılır. Şikayet yönlendirme gibi bir işte yanlış birime gönderilmiş bir şikayet ile hiç yönlendirilmeyen bir şikayetin maliyeti farklıdır. Yanlış alarm ile kaçırılan vaka arasındaki dengeyi kesinlik ve duyarlılık yansıtır; hangisinin önemli olduğu iş tarafının kararıdır.

İkinci olarak performans tek bir ortalamayla değil, segmentler bazında beklenir. Genel olarak iyi görünen bir model, belirli bir müşteri grubunda ya da nadir bir kategoride zayıf olabilir. Önemli segmentler gereksinimde adıyla geçmelidir.

Üçüncü olarak kıyas noktası yazılır: model, mevcut elle yöntemden ya da basit bir kuraldan daha iyi olmalıdır. Bu kıyas yoksa "yeterince iyi" tartışılamaz.

Son olarak işletme koşulları belirlenir: yanıt süresi, açıklanabilirlik ihtiyacı, kullanıcıya hangi bilginin gösterileceği ve düşük güvenli tahminlerin bir insana devredilmesi.

Kabul ölçütleri ve test

Kabul ölçütü geliştirme başlamadan önce yazılır, aksi halde sonuç görüldükten sonra ölçüt sonuca uydurulur. Ölçüt üç parçadan oluşur: hangi veriyle test edilecek, hangi ölçüte bakılacak ve hangi eşik geçildiğinde çözüm kabul edilecek.

Test verisi, eğitimde hiç kullanılmamış ve üretimdeki durumu temsil eden bir örnek olmalıdır. Mümkünse geçmiş verinin yanı sıra güncel bir örnek de eklenir. Eşik, iş birimi ve model ekibiyle birlikte belirlenir; yalnız teknik ekibin seçtiği bir eşik iş tarafından benimsenmez.

Laboratuvar sonucu yeterli sayılmaz. Sınırlı bir alanda, insan gözetimiyle yürütülen bir saha pilotu hem model hem süreç gereksinimlerini sınar. Pilot sonunda hata analizi yapılır ve gereksinim güncellenir. İşletmede izleme planı da bu aşamada yazılır: veri kayması, performans düşüşü ve geri bildirim akışı.

Örnek: şikayet yönlendirme modeli

Kurgusal bir müşteri hizmetleri ekibi, gelen yazılı şikayetleri ilgili birime otomatik yönlendirmek istiyor. İş sorunu: yanlış birime düşen şikayetler gecikmeye yol açıyor. Karar: model öneri sunar, düşük güvenli vakalar insana gider.

Veri gereksinimi: geçmiş şikayetler, ilgili birim etiketleriyle birlikte; birimlerin yapısı değiştiyse eski etiketler güncel isimlere eşlenmiş olmalı. Nadir ama kritik kategoriler, örneğin ödeme sorunları, yeterli örnekle temsil edilmeli. Kişisel veriler eğitim öncesinde maskelenir.

Başarı ölçütü: yanlış birime gitme oranı mevcut elle yönlendirmeden düşük olmalı; kritik kategorilerde duyarlılık ayrıca izlenmeli. Kabul: eğitimde kullanılmamış güncel şikayetlerle test, ardından sınırlı bir saha pilotu.

Sık yapılan hatalar

İlk hata, veriyi gereksinim listesinin dışında bırakmaktır. Veri ancak model eğitimi başlayınca konuşulursa eksikler geç fark edilir ve takvim bozulur.

İkinci hata, tek bir doğruluk oranına bağlanmaktır. Sınıflar dengesizse yüksek doğruluk yanıltıcı olabilir; nadir ama önemli vakaları kaçıran bir model yine de yüksek ortalama alır.

Üçüncü hata, işletme sonrasını unutmaktır. Model yayına alındıktan sonra veri değişir; izleme ve yeniden eğitim kararı gereksinimin içinde yoksa performans sessizce düşer.

Dördüncü hata, kabul ölçütünü sonuçtan sonra belirlemektir. Ölçüt, sonucu savunmak için değil, sonucu yargılamak için vardır.

Bu beceriyi Mindset programlarında nerede çalışırsınız

Yapay Zeka Destekli İş Analistliği Sertifika Programının Yapay Zeka Çözümlerinin Analizi: Veri ve Model Gereksinimleri modülü bu konuyu iş analisti gözüyle ele alır. Yapay zeka projesinde iş birimi ile veri bilimi ekibi arasındaki dili kuran analistler ve ürün sahipleri için ilgili bir zemin sunar.