Canlıdaki LLM uygulamasını görünür kılmak: gözlemlenebilirlik rehberi

LLM uygulamalarında izleme neden ayrı bir iştir?

Geleneksel yazılımda bir hata genellikle açıktır: istek başarısız olur, hata kodu döner, sistem çöker. LLM uygulamalarında ise sistem teknik olarak hatasız çalışırken yanlış, alakasız ya da riskli bir cevap üretebilir. Sunucu sağlıklı görünür, yanıt süresi normaldir, ama müşteriye yanlış politika bilgisi verilmiştir. Bu tür sessiz başarısızlıklar yalnızca altyapı izlemesiyle yakalanamaz.

Bir de yanıtların olasılıksal doğası vardır: aynı girdi farklı zamanlarda farklı çıktı verebilir; model sağlayıcı sürümü, prompt ya da veri kaynağı değiştiğinde davranış kayabilir. Gözlemlenebilirlik (observability), uygulamanın içinde ne olup bittiğini dışarıdan sorgulanabilir kılma yeteneğidir. LLM uygulamalarında bu, her isteğin hangi adımlardan geçtiğini, modelin ne gördüğünü ve ne ürettiğini, ne kadar sürdüğünü, neye mal olduğunu ve sonucun ne kadar iyi olduğunu görebilmek anlamına gelir.

Ne kaydedilmeli: iz, girdi, çıktı ve bağlam

Temel yapı iz (trace) kavramıdır. Bir kullanıcı isteği çoğu zaman tek model çağrısı değildir; sorgu yeniden yazımı, belge arama, bağlam birleştirme, model çağrısı, araç çağrıları ve çıktı denetimi gibi adımlar zincirler. Her adım ayrı bir kayıt olarak, bağlı olduğu istekle birlikte tutulursa sorun geldiğinde hangi halkada koptuğu görülür.

Kayıtta şunlar bulunur:

• Girdi ve çıktı metinleri (gizlilik kuralları gözetilerek).
• Kullanılan prompt sürümü ve model adı ile ayarları.
• Arama ile getirilen belge parçaları ve benzerlik sonuçları.
• Araç çağrıları, parametreleri ve dönen sonuçlar.
• Her adımın gecikmesi ile token kullanımı ve maliyet.
• Kullanıcıya ait oturum bilgisi, geri bildirim ve işaretler.
• Hata, zaman aşımı ve yeniden deneme olayları.

Kişisel veri içeren kayıtlar için maskeleme, erişim yetkisi ve saklama süresi önceden belirlenir. Her şeyi sonsuza dek saklamak hem maliyetli hem riskli olur.

Kaliteyi ölçmek: otomatik değerlendirme ve insan incelemesi

Gözlemlenebilirliğin en zor kısmı "iyi cevap" ölçüsüdür. Birkaç yaklaşım birlikte kullanılır. Kurallı kontroller, çıktının biçimini, zorunlu alanları, yasaklı ifadeleri ve uzunluğu denetler. Referans karşılaştırması, bilinen doğru cevabı olan sorularla sistemin sonuçlarını kıyaslar. Model destekli değerlendirme ise başka bir modeli hakem olarak kullanıp cevabın dayanak belgeyle tutarlılığını, alaka düzeyini ya da tonunu puanlatır.

Otomatik değerlendiriciler hızlı ve ölçeklenebilirdir ama hata yapabilir; bu yüzden ayrı bir örneklem üzerinde insan incelemesiyle doğrulanmalıdır. RAG sistemlerinde ayrıca getirme kalitesi ve cevabın getirilen belgelere dayanıp dayanmadığı (dayanaklılık) ayrı ölçülür; yanlış cevabın kaynağı çoğunlukla modelde değil, yanlış getirilen belgededir. Kalite ölçümleri canlı trafikte örneklemeyle sürekli çalışır, kritik sürüm değişikliklerinde ise sabit bir test setiyle sınanır.

Kullanıcı geri bildirimini işe çevirmek

Canlıdaki en değerli kalite sinyali kullanıcının kendisidir. Açık geri bildirim, yanıtın yanındaki beğeni ya da beğenmeme düğmesi ve yorum alanıdır. Örtük geri bildirim ise davranıştan çıkar: kullanıcı cevabı kopyaladı mı, aynı soruyu yeniden sordu mu, konuşmayı terk etti mi, insan desteğine geçti mi?

Geri bildirim yalnızca toplanıp panoda gösterilirse bir işe yaramaz. Olumsuz örnekler iz kaydıyla eşleştirilip incelenir, sorunun nedeni sınıflandırılır (eksik bilgi, yanlış getirme, belirsiz prompt, model hatası) ve düzeltme bir sonraki sürümde sınanır. Kötü örnekler değerlendirme setine eklendiğinde aynı hata tekrarlandığında yakalanır. Böylece gözlemlenebilirlik, iyileştirme döngüsünün başlangıç noktası olur.

Örnek akış: kurumsal bilgi asistanında şikâyet

Örneğin bir şirketin iç bilgi asistanı, çalışanlara izin politikası hakkında eski bir kuralı anlatıyor. Şikâyet gelince ekip ilgili isteğin izini açar. İz, asistanın arama adımında yeni politika belgesini değil, eski sürümü getirdiğini gösterir; model getirilen metne sadık kalarak yanlışı aktarmıştır. Hata modelde değil, belge dizininin güncellenmemesindedir.

Ekip belge güncelleme sürecini düzeltir ve aynı soruyu değerlendirme setine ekler. Ayrıca getirme sonuçlarında belge tarihi denetimi için bir uyarı kuralı tanımlar. Benzer şikâyetlerin başka konularda da olup olmadığına bakmak için son dönemde olumsuz işaretlenen konuşmalar konuya göre kümelenir. İz kaydı olmasaydı ekip büyük olasılıkla promptu değiştirmeye çalışacak ve asıl nedeni hiç görmeyecekti.

Maliyet, gecikme, güvenlik ve uyarılar

Gözlemlenebilirlik yalnızca kaliteyle ilgili değildir. Token kullanımı ve maliyet, özellik, kullanıcı grubu ve istek türü bazında izlenir; beklenmedik artışlar genellikle döngüye giren bir ajan, çok uzun bağlam ya da kötüye kullanım işaretidir. Gecikme, adım bazında ölçülür; yavaşlığın modelden mi, aramadan mı, araç çağrısından mı geldiği iz üzerinde görülür.

Güvenlik tarafında prompt enjeksiyonu denemeleri, hassas veri sızıntısı ve politika ihlalleri için işaretleyiciler kurulur. Uyarı eşikleri gürültüyü azaltacak biçimde seçilir: her küçük sapmada alarm veren sistem hızla yok sayılır. Kritik göstergeler (hata oranı, olumsuz geri bildirim oranı, maliyet sıçraması, güvenlik işareti) için net sahipler ve müdahale adımları belirlenir. Veri saklama ve erişim, kurumun gizlilik politikalarıyla uyumlu olmalıdır.

Öğrenme yolu ve Mindset programlarında bu konu

Başlangıçta LLM uygulamasının bileşenleri (prompt, model, arama, araçlar) ve temel günlük kaydı mantığı öğrenilir. Orta düzeyde iz kaydı araçları, değerlendirme seti hazırlama ve geri bildirim toplama gelir. İleri düzeyde otomatik değerlendiriciler, deney tasarımı, maliyet yönetimi ve yönetişim süreçleri çalışılır.

Mindset kataloğunda LLM Uygulamaları için Gözlem ve Geri Bildirim Döngüsü programı Yapay Zeka Uygulamalarında Gözlemlenebilirlik, Kalite Ölçümü ve Otomatik Değerlendirme, Kullanıcı Geri Bildirimi Toplama ile İyileştirme Döngüsü ve Yönetişim modüllerinden oluşur. Anthropic Claude API ile Uygulama Geliştirme programının Üretim Entegrasyonu ve İzleme modülü ise canlıya alma tarafını ele alır. Yapay zeka uygulaması geliştiren mühendisler, ürün sahipleri ve işletme sorumlulukları olan ekipler için uygundur.