LLM değerlendirme (evals): modelin işe yaradığını nasıl kanıtlarsınız?

Evals nedir ve neden geleneksel testten farklıdır?

Evals, bir büyük dil modeli (LLM) uygulamasının çıktı kalitesini sistematik biçimde ölçen değerlendirme çalışmalarının genel adıdır. Geleneksel yazılım testinde aynı girdi her zaman aynı çıktıyı verir ve test ‘geçti ya da kaldı’ der. LLM çıktısı ise olasılıklıdır: aynı soru farklı biçimlerde yanıtlanabilir ve birçok yanıt aynı derecede doğru olabilir. Bu yüzden değerlendirme, tek bir doğru yanıtı eşleştirmekten çok, yanıtın ölçütleri sağlayıp sağlamadığını puanlamaya dayanır.

Değerlendirme olmadan LLM uygulaması geliştirmek, bir komut metnini değiştirdiğinde uygulamanın genel olarak iyileşip iyileşmediğini bilmeden ilerlemek demektir. Birkaç örnekte düzelen çıktı başka durumlarda bozulmuş olabilir. Evals bu körlüğü giderir ve komut metni, model, geri getirme ayarı ya da araç tanımı gibi her değişikliğin etkisini ölçülebilir kılar.

İyi bir değerlendirme sistemi şu sorulara cevap verir: uygulama gerçek kullanım koşullarında yeterince iyi mi, sürümler arasında hangisi daha iyi ve zaman içinde kalite bozuluyor mu?

Değerlendirme stratejisi: neyi ölçeceğinize karar verin

Ölçmeden önce başarı tanımlanmalıdır. Aynı uygulama için farklı ekipler farklı şeyleri önemser. Müşteri destek asistanında doğruluk, bağlama sadakat ve uygun ton öne çıkar; kod üretiminde derlenebilirlik ve test geçişi; özetlemede kapsama ve sadakat. Genel bir ‘kalite’ puanı yerine uygulamaya özgü ölçütler yazın.

Sık kullanılan ölçüt boyutları şunlardır: • Doğruluk ve olgusal tutarlılık: yanıt doğru bilgiyi mi veriyor? • Bağlama sadakat: geri getirme ile çalışan sistemlerde yanıt verilen kaynağa mı dayanıyor, yoksa uydurma bilgi mi ekliyor? • Yönergeye uyum: biçim, uzunluk, ton ve kısıtlara riayet. • Güvenlik ve uygunluk: zararlı içerik, kişisel veri sızıntısı ve politika ihlalleri. • Operasyonel göstergeler: gecikme ve maliyet.

Her ölçüt için nasıl ölçüleceğini ve hangi eşiğin kabul edilebilir olduğunu baştan yazın. Eşikler ürün riskine bağlıdır: tıbbi ya da hukuki bir bağlamda hata toleransı, eğlence amaçlı bir uygulamadan çok daha düşüktür.

Test seti tasarımı

Test seti, değerlendirmenin temelidir. Kalitesi ölçümün güvenilirliğini belirler. Güçlü test örnekleri gerçek kullanım verisinden gelir: kullanıcıların gerçekten sorduğu sorular, gerçek belgeler, gerçek hata durumları. Kullanım henüz başlamamışsa alan uzmanlarından örnek istenir ya da bir model ile üretilen örnekler insan gözden geçirmesinden geçirilerek kullanılır.

İyi bir test seti şu özellikleri taşır: • Gerçek dağılımı yansıtır: yaygın durumlar çoğunlukta, nadir ama kritik durumlar da dahildir. • Kenar durumlar içerir: belirsiz sorular, eksik bilgi, alakasız istekler, çelişkili kaynaklar ve cevap verilmemesi gereken durumlar. • Beklenen yanıt ya da değerlendirme kılavuzuyla etiketlenmiştir; etiketi yazan kişi alanı bilmelidir. • Sürümlüdür: hangi sürümün hangi sonucu ürettiği izlenebilir. • Sızıntıdan korunur: model ya da komut metni test örnekleriyle ayarlanmışsa, ayrı bir bekletilmiş set olmalıdır, aksi halde sonuçlar olduğundan iyi görünür.

Test seti bir kez kurulup bırakılmaz. Üretimde yakalanan her hata yeni bir test örneğine dönüştürülürse set zamanla uygulamanın gerçek zayıflıklarını kapsar.

Puanlayıcı tasarımı: yanıtı kim, nasıl puanlar?

Puanlayıcı, bir yanıtı ölçüte göre değerlendiren mekanizmadır. Yöntemler maliyet, hız ve güvenilirlik açısından farklıdır.

Kural tabanlı puanlayıcılar kesin kontroller için uygundur: çıktı geçerli bir yapıda mı, gerekli alanlar var mı, yasak ifade geçiyor mu, kod testi geçiyor mu? Hızlı ve tekrarlanabilirdirler ama anlam düzeyini ölçemezler. Referans yanıtla karşılaştırma, kapalı uçlu sorularda işe yarar; serbest metinde sınırlıdır.

Model ile puanlama (başka bir LLM’nin hakem olarak kullanılması) serbest metin kalitesini ölçekli biçimde değerlendirmenin yaygın yoludur. Ancak hakem model de hata yapar ve kendi eğilimleri vardır: uzun yanıtı tercih edebilir, ilk gördüğü yanıta yönelebilir ya da kendi üslubuna benzeyeni daha yüksek puanlayabilir. Bunu azaltmak için net bir puanlama kılavuzu yazın, önce gerekçe sonra puan isteyin, yanıt sırasını değiştirerek tekrarlayın.

İnsan değerlendirmesi en güvenilir referanstır ama pahalı ve yavaştır. Yaygın uygulama, hakem modelin kararlarını bir insan örneklemiyle düzenli olarak karşılaştırıp uyumu ölçmektir. Uyum düşükse puanlayıcı güvenilir değildir ve kılavuz ya da yöntem düzeltilmelidir.

Karşılaştırmalı değerlendirme ve model seçimi

Farklı model, komut metni ya da yapılandırmayı karşılaştırırken aynı test seti ve aynı puanlayıcı kullanılmalıdır. Karşılaştırmada çiftli yöntem sık tercih edilir: aynı soru için farklı yanıtları yan yana verip hangisinin daha iyi olduğunu sormak, mutlak puan vermekten daha tutarlı sonuç verebilir.

Sonuçları yorumlarken belirsizliği hesaba katın. Küçük bir test setinde görülen fark tesadüf olabilir; farkın anlamlı olup olmadığı örneklem büyüklüğüne ve puanlamadaki gürültüye bağlıdır. Tek bir toplam puan yerine ölçüt ve kategori bazında kırılım bakmak, bir modelin hangi alanda güçlü ya da zayıf olduğunu gösterir.

Model seçimi yalnızca kaliteye göre yapılmaz. Gecikme, maliyet, veri konumu ve kullanım koşulları da karar kriterleridir. Daha pahalı bir model kalitede yeterli farkı sağlamıyorsa, ucuz bir model yeterli olabilir; tersine, kritik bir görevde kalite farkı maliyeti haklı çıkarabilir. Genel kıyaslama sonuçları yol göstericidir ama sizin görevinizin yerine geçmez: kendi test setinizde ölçülmemiş bir kıyaslama sonucuna dayanarak karar vermeyin.

Güvenlik ve dayanıklılık değerlendirmesi

Doğruluk ölçümü, uygulamanın kötü niyetli ya da beklenmedik girdilere nasıl yanıt verdiğini söylemez. Güvenlik değerlendirmesi ayrı bir test seti ile yapılır. İçeriğine şunlar girer: komut enjeksiyonu (kullanıcı ya da belge içeriği ile model talimatını bozma girişimi), sistem yönergesini sızdırma denemeleri, kısıtları atlatma girişimleri, hassas veri ifşası ve zararlı içerik üretimi.

Dayanıklılık testleri girdinin küçük değişikliklerine karşı çıktının tutarlılığını sınar: yazım hatalı sorular, farklı dil ya da üslup, sıra değişimi ve gürültülü belgeler. Dayanıklılık düşükse uygulama gerçek kullanıcıda laboratuvardan kötü çalışır.

Güvenlik testi bir kerelik denetim değildir. Yeni saldırı biçimleri çıktıkça test örnekleri güncellenmeli; bulunan her açık düzeltilmeden sonra regresyon seti içine alınmalıdır. Tüm riskleri değerlendirmeyle ortadan kaldırmak mümkün değildir; bu yüzden değerlendirme, giriş-çıkış denetimleri ve insan gözetimiyle birlikte katmanlı bir yaklaşımın parçasıdır.

Otomasyon ve sürekli değerlendirme

Değerlendirme elle tekrarlanırsa kısa sürede aksar. Test setini ve puanlayıcıyı bir komut dizisine bağlayıp her değişiklikte çalıştırmak, kalite regresyonlarını geliştirme sırasında yakalar. Değişiklik, kalite eşiklerini aşağı çekiyorsa sürüm ilerlemez.

Üretimde ise gerçek trafik izlenir. Kullanıcı geri bildirimi, olumsuz sinyaller, düşük güvenli yanıtlar ve örnek konuşmaların hakem modelle puanlanması, test setinde olmayan sorunları ortaya çıkarır. Bu sinyaller yeni test örneklerine dönüştüğünde değerlendirme sistemi canlı kalır.

Olgunlaşan bir değerlendirme hattında sürüm kayıtları, puan geçmişi ve ölçüt bazlı grafikler bulunur. Model sağlayıcısı bir sürümü güncellediğinde ya da kaldırdığında da aynı hat kalite farkını görünür kılar. Bu, LLM operasyonlarının kalite tarafıdır.

Nasıl öğrenilir ve Mindset'te nerede çalışılır?

Başlangıç için tek bir kullanım durumunu seçip gerçek örneklerden küçük bir test seti kurmak, ölçütlerini yazmak ve birkaç komut metni sürümünü karşılaştırmak yeterlidir. Ardından hakem modelle puanlama, insan örneklemiyle uyum ölçümü, güvenlik testleri ve otomasyon eklenir.

Mindset'in LLM Değerlendirme ve Karşılaştırma (Evals) programı değerlendirme stratejisi, test seti tasarımı, puanlayıcı tasarımı, karşılaştırmalı değerlendirme, güvenlik ve dayanıklılık değerlendirmesi, otomasyon ve sürekli değerlendirme modüllerinden oluşur. Büyük Dil Modeli Kıyaslama ve Model Seçimi programı ise değerlendirme kriterleri ve kıyaslama yöntemi, kalite ve güvenilirlik ölçümü, maliyet-kalite dengesi ve karar modüllerini kapsar.