Yapay zeka çözümü için tedarikçi değerlendirme ve seçim rehberi

Seçimden önce: yapay zeka çözümü satın alınır mı, geliştirilir mi?

Tedarikçi aramaya başlamadan önce kurumun çözdüğü sorunu ve bunu çözmenin hangi yoldan geçeceğini netleştirin. Genel olarak şu seçenekler vardır: hazır bir ürünü kullanmak, bir platformun üzerine kuruma özel yapılandırma yapmak ya da sıfırdan geliştirmek. Hazır ürün hızlıdır ama kuruma özgü ihtiyaçlara sınırlı uyar. Özel geliştirme esnektir ama ekip, zaman ve bakım yükü getirir.

Karar için şu soruları sorun: Bu iş kurumun ayırt edici yeteneği mi, yoksa herkesin yaptığı standart bir süreç mi? Standart süreçlerde (toplantı özeti, belge sınıflandırma, çağrı merkezi destek asistanı gibi) hazır çözüm genellikle daha mantıklıdır. Kuruma özgü veri ve süreçlerin rekabet avantajı yarattığı alanlarda ise özelleştirme ya da kendi geliştirme gündeme gelir.

İhtiyacı yazın: tedarikçiyi değil sorunu tanımlayın

Değerlendirme, tedarikçinin sunumuyla değil kurumun ihtiyaç tanımıyla başlar. İhtiyaç belgesinde şunlar yer almalıdır: çözülecek iş sorunu, bugünkü süreç, başarı ölçütü, kullanıcı grubu, kullanılacak veri, bütünleşilecek sistemler ve uyulması gereken kurumsal ya da yasal kısıtlar.

Örneğin müşteri destek ekibi için bir yapay zeka asistanı arıyorsanız: hangi kanallarda çalışacak, hangi bilgi kaynaklarından cevap verecek, hangi durumda insana devredecek, cevapların kalite kontrolü kimde olacak? Bu cevaplar olmadan her tedarikçinin sunumu birbirine benzer görünür ve karar, en etkileyici sunumu yapana kayar. Yazılı ihtiyaç ise tedarikçilere aynı soruları sormanızı ve cevapları karşılaştırmanızı sağlar.

Değerlendirme kriterleri: neye bakılır?

Kriter listesini ağırlıklandırarak hazırlayın; tüm başlıklar aynı öneme sahip değildir. Genellikle şu başlıklar yer alır:

• İşlevsel uyum: ihtiyaç belgesindeki senaryoları gerçekten karşılıyor mu?
• Çıktı kalitesi: sizin verinizle ve sizin örneklerinizle test edildiğinde sonuç nasıl?
• Veri güvenliği ve gizlilik: verinin nerede işlendiği, saklandığı, modelin eğitiminde kullanılıp kullanılmadığı
• Entegrasyon: mevcut sistemlerle bağlantı biçimi, yönetim arayüzü, erişim kontrolü
• Şeffaflık: modelin sınırları, hata biçimleri ve izleme olanakları açıkça belgelenmiş mi?
• Destek ve süreklilik: kullanım desteği, ürün yol haritası, tedarikçinin istikrarı
• Toplam sahip olma maliyeti: lisans dışında entegrasyon, eğitim, yönetim ve ölçekleme maliyeti

Her kriter için puan skalası belirleyin ve puanlamayı birden fazla paydaşla (iş birimi, BT, bilgi güvenliği, hukuk) birlikte yapın. Puanlama tablosunu görüşmelerden önce hazırlayın; kriterleri sonradan tedarikçinin güçlü yanına göre eğmek, karar nesnelliğini bozar. Referans görüşmesi de değerli bir girdidir: benzer ölçekte ve sektörde çalışan mevcut müşterilerle konuşup kullanımda karşılaştıkları sınırları ve destek deneyimini sorun.

Tedarikçiye sorulacak yapay zekaya özgü sorular

Genel yazılım değerlendirmesine ek olarak yapay zeka çözümleri için özel sorular gerekir. Kurum verisi modelin eğitiminde kullanılıyor mu, kullanılıyorsa buna itiraz edilebilir mi? Veri hangi ülkede işleniyor ve saklanıyor? Model sürümü değiştiğinde çıktı kalitesi nasıl korunuyor ve kurum bu değişikliklerden önceden haberdar ediliyor mu? Çıktılardaki hatalı bilgi (halüsinasyon) riskine karşı hangi önlemler var? Kullanıcı yanıtlarını kaynaklara bağlama (alıntı gösterme) özelliği var mı?

Ayrıca önyargı testi, güvenlik testi ve olay yönetimi süreci hakkında belge isteyin. Tedarikçinin cevap verememesi ya da genel ifadelerle geçiştirmesi, kendi başına bir bilgidir. Hukuk ve bilgi güvenliği ekibi bu soruların hazırlanmasında erken devreye alınmalıdır.

Pilot denemesi: sunuma değil kanıta güvenin

Kısa listedeki tedarikçileri kendi verinizle ve gerçek senaryolarınızla deneyin. Aynı örnek girdi setini her tedarikçiye verin, çıktıları önceden belirlenen kriterlerle puanlayın ve çıktıyı değerlendirenin hangi tedarikçinin çıktısını gördüğünü bilmediği bir düzen kurun (kör değerlendirme).

Pilotta yalnızca iyi sonuç aramayın; hata türlerine de bakın. Zor örnekleri, belirsiz girdileri ve sınır durumlarını bilerek ekleyin. Kullanıcıların günlük akışa uyumunu da gözlemleyin: ürün teknik olarak güçlü olsa bile ekip kullanmıyorsa değer üretmez. Hataları türüne göre ayırın: yanlış bilgi, eksik yanıt, uygunsuz ton ya da yanıt vermeme farklı riskler taşır ve tek bir doğruluk puanında birbirine karışır. Pilot sonunda hem sayısal puanı hem kullanıcı geri bildirimini birlikte raporlayın.

Sözleşme ve sık yapılan hatalar

Sözleşme aşamasında veri sahipliği, gizlilik, model eğitiminde veri kullanımı, hizmet seviyesi, olay bildirimi, sözleşme sonunda verinin iadesi ya da silinmesi ve tedarikçi değişikliğinde geçiş desteği gibi başlıklar netleştirilmelidir. Bunlar hukuk ve bilgi güvenliği ekibinin işidir; teknik ekip yalnızca sorunun doğru sorulmasına yardım eder.

Sık yapılan hatalar şunlardır: gösterişli bir sunuma göre karar vermek; ihtiyaç yazılı değilken çok sayıda tedarikçiyle görüşmek; pilotu tedarikçinin hazırladığı örneklerle yapmak; tek bir tedarikçiye bağımlı bir mimari kurup çıkış planı düşünmemek; lisans maliyetine bakıp entegrasyon ve yönetim maliyetini hesaba katmamak; son olarak, kullanım başladıktan sonra çıktı kalitesini düzenli izlememek.

Mindset programlarında bu beceri nerede çalışılır?

Yapay Zeka Dönüşüm Danışmanlığı Sertifika Programı, tedarikçi seçimine zemin hazırlayan başlıkları içerir: Yatırım Kararları ve İş Vakası Hazırlığı, Veri ve Teknoloji Altyapısı Değerlendirmesi, Risk, Etik ve Mevzuat Uyumu ve Yapay Zeka Yönetişimi ve Politika Tasarımı. Yapay Zeka Strateji Yöneticisi Programı ise Yapay Zeka Yatırımı ve Portföy Yönetimi ile Yapay Zeka Yönetişimi ve Risk Çerçevesi modüllerini işler.

Bu programlar teknoloji satın alma kararına katılan strateji, dönüşüm, BT ve satın alma ekipleri için uygundur; kurumlar kendi ihtiyaç belgelerini ve kriter listelerini çalışmaya getirerek ekip düzeyinde ilerleyebilir.