Yapay zeka pilotu: tasarımdan ölçekleme kararına

Pilot neden ayrı bir iş olarak yönetilmelidir?

Yapay zeka pilotları sık sık iki uca düşer. Ya yalnızca etkileyici bir gösteri olarak kalır ve kimse sonucunu iş kararına çevirmez, ya da gerçek bir kullanıma dönüşür ama hiç ölçülmediği için başarılı mı olduğu bilinmez. İkisinin de ortak nedeni, pilotun bir proje olarak tasarlanmamasıdır.

Pilot, belirli bir hipotezi sınırlı kaynakla, sınırlı sürede ve sınırlı kullanıcıyla sınayan bir deneydir. Hipotez somut olmalıdır: "Destek ekibinin ilk yanıt hazırlama süresi, öneri sistemiyle belirgin biçimde kısalır ve yanıt kalitesi düşmez." Bu cümle bir ölçüm, bir karşılaştırma ve bir kalite sınırı içerir. "Yapay zekayı deneyelim" ise hiçbir şeyi sınamaz.

Bu yüzden pilotun bir sahibi, bir sponsoru ve bir kapanış toplantısı olmalıdır. Sahibi sonuçtan sorumlu iş tarafıdır; teknik ekip yalnızca çözümü kurar. Kapanışta karar verilir: ölçekle, değiştirip yeniden dene ya da durdur. Bu kararların her biri başarılı bir pilotun çıktısıdır; durdurma kararı, yanlış yatırımı erken kesmiş olmak demektir.

Kapsam ve hipotezi daraltmak

Pilot kapsamı ne kadar dar olursa sonuç o kadar okunabilir olur. İyi bir pilot tek bir süreci, tek bir kullanıcı grubunu ve tek bir veri kaynağını hedefler. Örneğin "müşteri hizmetlerini yapay zekayla dönüştürmek" pilot değil, bir stratejidir; "faturaya ilişkin soruların ilk yanıt taslağını üretmek" ise pilot olabilir.

Kapsam belirlerken şu soruları yanıtlayın: Süreç yeterince sık tekrarlanıyor mu, yani kısa sürede yeterli gözlem toplanır mı? Girdi verisi erişilebilir ve yeterince temiz mi? Sonuç, kimin ve hangi yetkiyle kullanacağı belli bir kişiye ulaşıyor mu? Hata yapıldığında zarar sınırlı ve geri alınabilir mi? Son soru kritiktir: ilk pilot için hatası pahalı olmayan, insan denetiminin kolayca eklenebildiği bir iş seçin.

Kullanım senaryosu seçiminin kendisi ayrı bir beceridir; senaryoların nasıl bulunup önceliklendirileceği için kullanım senaryosu belirleme rehberine bakın. Burada senaryonun seçilmiş olduğunu varsayıyoruz ve onu sınanabilir bir hipoteze çeviriyoruz.

Başarı ölçütü: model değil iş sonucu

Pilotlarda en sık yapılan hata, başarıyı yalnızca modelin kalitesiyle ölçmektir. Model çıktısı iyi olabilir ama kullanıcı onu kullanmıyorsa, çıktıyı kontrol etmek yeni iş yaratıyorsa ya da süreç başka bir noktada tıkanıyorsa iş sonucu değişmez. Bu yüzden ölçütler üç katmanda tanımlanır.

Birinci katman kalite ölçütüdür: çıktı doğru mu, tutarlı mı, güvenli mi? Bunu örnek bir değerlendirme kümesiyle ve insan incelemesiyle ölçersiniz. İkinci katman kullanım ölçütüdür: kullanıcılar sistemi gerçekten kullanıyor mu, önerileri ne sıklıkla kabul ediyor, ne sıklıkla düzeltiyor? Üçüncü katman iş sonucudur: süre, hata, yeniden iş, maliyet ya da müşteri deneyimi.

Her ölçüt için üç şey yazılır: nasıl ölçüleceği, başlangıç değeri ve ölçekleme için gereken eşik. Eşik, iş sahibinin kabul edeceği bir düzey olmalıdır; teknik ekibin kendi kendine koyduğu bir sınır değil. Kalite sınırı ayrıca "tavizsiz" ölçüt olarak konabilir: iş sonucu ne kadar iyi olursa olsun, ciddi hata sınırı aşılırsa pilot durur.

Karşılaştırma düzeni: kime, neye karşı ölçüyoruz?

Pilot sonucunu yorumlamak için bir referans gerekir. En sağlam düzen, aynı dönemde, benzer işleri yapan iki grubu karşılaştırmaktır: biri yapay zekayla, diğeri mevcut yöntemle çalışır. Grupları rastgele ya da en azından benzer iş yüküne sahip olacak biçimde ayırın; en istekli kullanıcılarla en isteksizleri karşılaştırmak yanıltıcı olur.

Paralel grup kurmak mümkün değilse öncesi ve sonrası karşılaştırması yapılır. Bu yöntem mevsimsellik, kampanya dönemleri ve ekip değişiklikleri gibi karıştırıcı etkilere açıktır; bu yüzden pilot dönemindeki olağan dışı olaylar not edilmelidir. Gölge modu, canlı kararı etkilemeden sistemin önerisini insan kararıyla karşılaştırmaya olanak verir ve riski en düşük başlangıçtır.

Ölçüm düzeneğini pilot başlamadan kurun. Verinin nereden, hangi sıklıkla ve kim tarafından toplanacağı belli değilse pilot bittiğinde elde yalnızca anekdotlar kalır. Kullanıcıların serbest yorumları değerlidir ama sayısal ölçümün yerini tutmaz; ikisini birlikte okuyun.

Pilot sırasında yönetilecekler: risk, yönetişim ve insan

Pilot küçük de olsa gerçek veriyle çalışıyorsa gerçek riskler vardır. Kişisel veri içeren girdiler, gizli belgeler ve üçüncü taraf hizmetlere aktarılan bilgi için pilot başlamadan güvenlik ve hukuk onayı alınmalıdır. "Sadece pilot" demek bu onayı atlamak için gerekçe değildir; çoğu zaman pilotun ölçeklenememesinin nedeni, onayın en sona bırakılmasıdır.

İnsan denetimini tasarımın parçası yapın. Çıktıyı kimin, hangi ölçütle onayladığı, hatalı çıktının nasıl bildirildiği ve hataların kaydının nerede tutulduğu belirlenmelidir. Bu kayıt hem kalite ölçütünü besler hem de ölçekleme kararında kanıt olur.

Kullanıcı tarafını da yönetin. Pilot kullanıcıları ne denendiğini, neden denendiğini ve sonucun işlerini nasıl etkileyeceğini bilmelidir. İşlerinin ortadan kalkacağından endişe eden bir ekip, sistemi gerçekten denemez ya da bilerek zayıf gösterir. Kısa bir bilgilendirme, düzenli geri bildirim toplantıları ve sorunları bildirmenin kolay bir yolu pilotun güvenilirliğini artırır.

Pilottan ölçeklemeye: karar nasıl verilir?

Ölçekleme kararı pilotun sonunda sezgiyle değil, başta yazılmış çıkış ölçütleriyle verilir. Basit bir çerçeve üç sonuç tanımlar: ölçütler karşılandıysa ölçekle, kısmen karşılandıysa nedenini anlayıp değiştirerek yeniden dene, karşılanmadıysa durdur. "Kısmen" kategorisi dikkat ister; sonsuz bir "bir tur daha" döngüsüne dönüşmemesi için yeniden deneme hakkı ve süresi de önceden sınırlandırılır.

Ölçeklemeye geçmeden önce pilotun görmediği şeyleri tartın. Pilot sınırlı kullanıcıyla, ilgili ve istekli bir ekiple çalıştı; genel kullanıcı kitlesinde sonuçlar aynı olmayabilir. Daha büyük veri hacminde maliyet, yanıt süresi ve işletme yükü değişir. Destek, izleme ve model güncelleme sorumluluğu pilotta geçici olarak üstlenilmiş olabilir; kalıcı bir sahibi gerekir.

Ölçeklemeyi aşamalı yapın: bir sonraki kullanıcı grubu, ardından bir sonraki süreç. Her aşamada ölçümleri sürdürün. Pilotun kapanış raporu kısa olmalı ve şunları içermelidir: hipotez, ölçütler, sonuçlar, öğrenilenler, karar ve gerekçe, ölçekleme için gerekenler.

Sık hatalar

İlk hata ölçütü sonuçtan sonra yazmaktır. Sonuç bilindikten sonra konan ölçüt, elde edilen sonucu başarı olarak tanımlayacak biçimde şekillenir. İkinci hata pilotu yalnızca teknik ekibe bırakmaktır; iş sahibi olmadan pilotun sonucu kimsenin kararına dönüşmez.

Üçüncü hata pilotu fazla geniş tutmaktır: çok sayıda süreç, çok sayıda veri kaynağı ve çok sayıda kullanıcı, hangi etkenin sonucu belirlediğini anlaşılmaz kılar. Dördüncü hata en uyumlu kullanıcıyla pilot yapmaktır; sonuçlar genel kitleye taşınmaz. Beşinci hata güvenlik, hukuk ve veri onaylarını pilotun sonuna bırakmaktır.

Son olarak, pilot bittiğinde kimsenin sahiplenmediği bir sistem bırakmak da sık görülür. Pilot sonrası destek, izleme ve güncelleme sorumlusu belirlenmemişse başarılı bir pilot bile sessizce kapanır.

Bu beceriyi Mindset programlarında nerede çalışırsınız

Yapay Zeka Dönüşüm Danışmanlığı Sertifika Programı, kullanım senaryosu keşfi, iş vakası, risk ve yönetişim konularının yanında Pilot Tasarımı, Ölçümleme ve Ölçekleme modülünü içerir. Dönüşüm, dijital ürün ya da süreç iyileştirme ekiplerinde pilotu sahiplenecek yöneticiler ve danışmanlar için uygundur.

Yapay Zeka Risk Yönetimi ve Yönetişim kursu ise pilotun güvenlik, uyum ve risk tarafını güçlendirmek isteyen ekipler için tamamlayıcıdır.