Ajan testi ve izleme: yapay zeka ajanının kalitesi nasıl ölçülür

Ajanı test etmek neden sıradan yazılım testinden farklıdır?

Klasik yazılımda aynı girdi aynı çıktıyı verir ve test, beklenen sonuçla gerçek sonucu karşılaştırır. Yapay zeka ajanları ise büyük dil modeline dayandığı için aynı soruya her seferinde biraz farklı yanıt verebilir. Üstelik ajan tek bir yanıt üretmez; birkaç adımda plan yapar, araç çağırır, sonuçları yorumlar ve yeniden karar verir. Hata, son yanıtta değil, aradaki adımlardan birinde ortaya çıkabilir.

Bu nedenle ajan testinde yalnızca “yanıt doğru mu?” sorusu yetmez. Şunlara da bakılır: Doğru aracı seçti mi? Araca doğru parametreleri verdi mi? Aracın hata döndürdüğü durumda ne yaptı? Bilgi eksikse sordu mu, yoksa uydurdu mu? Yetkisi olmayan bir işlemi denedi mi?

Test yaklaşımı bu sebeple katmanlıdır: önce geliştirme aşamasında senaryo tabanlı değerlendirme, ardından canlı kullanımda sürekli izleme. İkisi birbirini tamamlar; test bilinen riskleri yakalar, izleme ise beklenmeyen durumları gösterir.

Test senaryoları nasıl hazırlanır?

Değerlendirmenin temeli, ajanın karşılaşacağı gerçekçi girdilerden oluşan bir senaryo kümesidir. Bu kümeyi şu kaynaklardan oluşturun:

• Gerçek kullanıcı talepleri: Ajanın yerini alacağı süreçteki gerçek e-postalar, sorular ve form girdileri.
• Sınır durumlar: Eksik bilgi, belirsiz talep, çelişen talimat, beklenmedik dil ya da biçim.
• Zorlayıcı girdiler: Yetki dışı işlem isteyen, ajanı yönlendirmeye ya da kurallarını delmeye çalışan mesajlar.
• Araç hataları: Bağlı hizmetin yanıt vermediği, boş sonuç döndürdüğü ya da hatalı veri verdiği durumlar.
• Gerçek hayatta yaşanmış hatalar: Üretimde bir kez yanlış çalışan her örnek, kalıcı bir test senaryosuna dönüşmelidir.

Her senaryo için beklenen davranışı baştan yazın. Beklenen davranış yalnızca “doğru yanıt” değildir; hangi aracın çağrılması gerektiği, hangi bilginin sorulması gerektiği ve hangi durumda insana devredilmesi gerektiği de tanımlanır. Küçük ama dikkatle seçilmiş bir küme, büyük ve rastgele bir kümeden daha değerlidir.

Değerlendirme yöntemleri

Ajan değerlendirmesinde üç yaklaşım birlikte kullanılır.

Kural tabanlı kontroller, kesin olarak doğrulanabilen noktalar içindir: doğru araç çağrıldı mı, parametre biçimi geçerli mi, yanıtta zorunlu alan var mı, yasak bir ifade geçiyor mu? Bu kontroller hızlıdır ve otomatikleştirilebilir.

Model destekli değerlendirme, başka bir dil modelinin yanıtı belirli ölçütlere göre puanlamasıdır. Yanıtın kullanıcı sorusuna uygunluğu, tutarlılığı, tonu gibi kural yazması zor boyutlar için kullanışlıdır. Ancak değerlendirici model de hata yapabileceğinden, ölçütleri açık yazmak ve çıktıları insan örneklemesiyle doğrulamak gerekir.

İnsan değerlendirmesi, özellikle alanı bilen kişilerin yanıt kalitesini gözden geçirmesidir. Yeni bir ajanın ilk sürümünde ve riskli kararların olduğu alanlarda vazgeçilmezdir. Değerlendirme sonuçları bir kayıt tablosunda toplanır ve her değişiklikten sonra aynı küme yeniden çalıştırılarak gerileme (regression) olup olmadığına bakılır.

Ajanın izlediği yol da (hangi adımları hangi sırayla attığı) değerlendirilir. Doğru sonuca gereksiz uzun ya da riskli bir yoldan ulaşmak, maliyeti ve hata ihtimalini artırır.

Üretimde izleme: neyi, nasıl gözlemlemeli?

Ajan canlıya çıktıktan sonra test kümesinde olmayan durumlarla karşılaşır. Bu yüzden her çalıştırmanın ayrıntılı kaydı tutulmalıdır: kullanıcı girdisi, ajanın adımları, çağırdığı araçlar, araç yanıtları, nihai çıktı ve süre. Bu kayıtlar, hata ayıklamanın ve iyileştirmenin ana kaynağıdır. Kişisel veriler içeriyorsa kayıtların saklanma ve erişim kuralları da tasarlanmalıdır.

İzlenecek başlıca göstergeler şunlardır:

• Hata ve başarısızlık oranı: Ajan görevi tamamlayabildi mi, araç çağrıları hata verdi mi?
• Yanıt süresi ve maliyet: Ortalamanın üstüne çıkan ya da sonsuz döngüye girmiş gibi görünen çalıştırmalar.
• İnsana devir oranı: Ajan ne sıklıkla işi insana bırakıyor ve neden?
• Kullanıcı geri bildirimi: Olumlu ya da olumsuz işaretlenen yanıtlar.
• Güvenlik olayları: Yetki dışı işlem denemeleri, kural ihlalleri, hassas veri sızıntısı işaretleri.

Bu göstergelere eşik değerler tanımlanır ve eşik aşıldığında ilgili kişiye uyarı gider. Örneğin araç çağrıları art arda başarısız olursa ajan otomatik olarak devre dışı bırakılıp işler insana yönlendirilebilir.

Aşamalı yayına alma ve iyileştirme döngüsü

Ajanı doğrudan tam yetkiyle canlıya almak yerine aşamalı ilerlemek riski azaltır. İlk aşamada ajan yalnızca öneri üretir, insan onaylar. Sonraki aşamada düşük riskli işlemleri kendisi yapar, yüksek riskliler için onay ister. Güven arttıkça yetki alanı genişletilir. İşlem yetkisi ve onay noktaları yazılı bir tabloda tutulur.

İyileştirme döngüsü şöyle işler: izleme kayıtlarından sorunlu çalıştırmalar seçilir, nedenleri incelenir (talimat eksikliği, bilgi kaynağı yetersizliği, araç tanımı hatası, model sınırı), düzeltme yapılır ve bu örnek test kümesine eklenir. Düzeltmeden sonra tüm küme yeniden çalıştırılarak başka bir davranışın bozulmadığı doğrulanır.

Ajanın talimatında, araç tanımlarında ya da kullandığı modelde yapılan her değişiklik bir sürüm olarak kaydedilmeli; böylece bir gerileme görüldüğünde önceki sürüme dönülebilir.

Sık yapılan hatalar

• Yalnızca tek başarılı örnekle ikna olmak: Birkaç iyi sonuç, ajanın genel olarak güvenilir olduğunu göstermez. Çeşitli ve zorlayıcı girdilerle test gerekir.
• Son yanıta bakıp adımları incelememek: Doğru görünen yanıt yanlış araç verisine dayanıyor olabilir.
• Değerlendirici modele körü körüne güvenmek: Ölçütler belirsizse puanlar tutarsız olur; insan örneklemesi şarttır.
• Üretimde kayıt tutmamak: Kayıtsız bir ajan, sorun çıktığında araştırılamaz.
• Yeni sürümü eski sorunlara karşı denememek: Bir sorunu düzeltirken başka birini bozmak yaygındır.
• Sorumluluğu belirsiz bırakmak: Ajanın kalitesinden kimin sorumlu olduğu ve uyarıların kime gideceği baştan belirlenmelidir.

Ajanın yaptığı işin sonuçları ciddiyse (para, müşteri verisi, hukuki etki) insan onayı mekanizması testin yerine geçmez; test ve izlemenin yanında kalıcı bir güvenlik katmanı olarak durmalıdır.

Mindset programlarında bu konu nerede çalışılır?

No-Code AI Agent Tasarımı ve Uygulamaları Eğitimi modülleri arasında Test, İzleme ve İyileştirme başlığı yer alır; eğitim ayrıca Gelişmiş Ajan Özellikleri ve Çoklu Adım İşlemler ile bir uygulama projesi içerir. Kod yazmadan ajan kuran iş birimleri ve kurumsal ekipler için uygundur.

Agentic Workflows Mimarisi eğitiminde Durum Yönetimi ve Kalıcılık, Güvenlik, Yönetişim ve Uyum ile Performans ve Ölçeklendirme başlıkları bulunur; ajan tabanlı iş akışlarını kurumsal ölçekte tasarlayan teknik ekipler için tamamlayıcıdır.