LLM ve Ajanlar İçin Değerlendirme Veri Seti Hazırlama Rehberi

Değerlendirme veri seti neden ayrı bir mühendislik işidir?

Yapay zeka uygulamasının kalitesini ölçmek için elinizde bir cetvel olmalıdır. Veri seti bu cetveldir: sistemin hangi girdilere hangi yanıtı vermesi beklendiğini somutlaştırır. Set yoksa her değişiklik hissi kararlarla değerlendirilir; istem değişikliği bir senaryoyu düzeltirken başka senaryoyu bozabilir ve kimse fark etmez.

İyi bir veri seti sistemin gerçek kullanımını yansıtır, belirsiz kararlara açıklık getirir ve zaman içinde büyür. Kötü bir set ise ya kolay örneklerle şişkindir ve yanlış güven verir, ya da gerçek kullanıcıdan uzak, yapay vakalardan oluşur.

Bu çalışma, değerlendirme sürecinin tamamından farklıdır. Puanlama yöntemleri, otomatik değerlendiriciler ve sürekli çalıştırma ayrı konulardır; burada odak, vakaların nereden geldiği, nasıl yazıldığı ve nasıl yaşatıldığıdır. Setin kalitesi, üzerine kurulacak her ölçümün tavanıdır.

Kaynakları toplamak

En iyi başlangıç noktası gerçek kullanımdır. Uygulama zaten çalışıyorsa kullanıcı sorularını, destek kayıtlarını ve konuşma günlüklerini inceleyin. Kişisel veri içeren kayıtları arındırarak ya da kurum politikasına uygun biçimde kullanın. Uygulama yeni ise iş birimlerinden uzmanların günlük işte karşılaştığı soruları ve talepleri toplayın.

İkinci kaynak, alan uzmanlarının elle yazdığı vakalardır. Uzmanlardan özellikle zor, belirsiz ve sık yanlış anlaşılan örnekleri yazmalarını isteyin. Üçüncü kaynak sentetik üretimdir: bir dil modelinden mevcut vakalara benzer çeşitlilik üretmesini isteyebilirsiniz, ancak üretilen her vaka insan tarafından gözden geçirilmelidir. Modelin ürettiği vakalar çoğu zaman fazla düzgün ve kolaydır.

Kaynaklar arasında dengeyi gözetin. Yalnız üretim kayıtlarından oluşan bir set mevcut sistemin sık gördüğü girdilere kayar ve nadir ama riskli durumları kaçırır. Uzman vakaları ve kenar durumlar, bu açığı kapatır. Hangi vakanın hangi kaynaktan geldiğini kayıtta tutun; hata çözümlemesinde işe yarar.

Bir vaka nasıl yazılır?

Her vakaya aynı şemayı uygulayın. Şema, setin tutarlı ve araçlarla işlenebilir olmasını sağlar. Yararlı bir şema şu alanları taşır:

• Kimlik: vakayı değişmeden tanımlayan ad.
• Girdi: kullanıcının sorusu veya ajanın aldığı talep.
• Bağlam: kullanılan belge, araç çıktısı ya da konuşma geçmişi.
• Beklenen sonuç: tek bir doğru yanıt ya da yanıtın sağlaması gereken ölçütler.
• Etiketler: görev türü, zorluk ve risk düzeyi.
• Kaynak ve not: vakanın nereden geldiği, belirsizlik varsa gerekçe.

Beklenen sonucu yazarken görev türüne göre farklı yaklaşımlar vardır. Kesin yanıtı olan görevlerde (sınıflandırma, bilgi çıkarma, hesap) doğru değer yazılır ve karşılaştırma otomatiktir. Serbest metin üreten görevlerde tek bir doğru yanıt yoktur; bu durumda yanıtın içermesi, içermemesi ve uyması gereken koşullar bir ölçüt listesi olarak yazılır. Ajanlarda beklenen sonuç, yalnız son yanıt değil, çağrılması gereken araç ve sırası da olabilir.

Beklenen sonuçta belirsizlik varsa gizlemeyin. 'Bu soruya birden fazla yanıt kabul edilebilir' notu, değerlendirmede haksız hata puanı verilmesini önler. Vakaları tek bir sorumluluk için yazın; aynı vakada birçok şeyi ölçmek hatanın nedenini bulanıklaştırır.

Kapsam matrisi ve zor vakalar

Setin yalnız kolay örneklerden oluşmasını önlemek için kapsam matrisi kullanın. Bir eksende uygulamanın görev türleri (örneğin soru yanıtlama, belgeden bilgi çıkarma, bir araca yönlendirme), diğerinde zorluk ve risk düzeyleri yer alır. Her hücre için en az birkaç vaka bulunup bulunmadığını kontrol edin; boş hücreler körlük noktalarınızdır.

Zor vakalara bilinçli yer verin. Belirsiz ve eksik bilgi içeren talepler, çelişen kaynaklar, kapsam dışı sorular (sistemin yanıt vermemesi gereken durumlar), yazım hataları ve farklı ifade biçimleri, çok adımlı ajan görevleri ve yetkisiz işlem talepleri iyi birer örnektir. Saldırgan vakalar, yani sistemin kuralını aşmaya çalışan girdiler, güvenlik beklentilerini sınar.

Her vaka etiketlerle işaretlenirse sonuçları dilimlere ayırabilirsiniz: ortalama iyi görünse bile kenar durumlarda ya da yüksek riskli görevlerde sistem zayıf olabilir. Ortalama puan bu zayıflığı gizler; dilimlenmiş bakış ise iyileştirmenin nereye yönelmesi gerektiğini gösterir.

Etiket kalitesi, bölümleme ve sızıntı

Beklenen sonuçların doğruluğu setin değerini belirler. Vakaları yalnız bir kişinin yazıp onaylaması hatayı gizler. Bir kısım vakayı farklı kişilerin bağımsız etiketlemesi, uyumsuz noktaları ortaya çıkarır; uyumsuzluk çoğunlukla ölçütün belirsiz olduğunu gösterir ve ölçüt netleştirilir. Alan uzmanı onayı özellikle teknik, hukuki ve sağlıkla ilgili vakalarda gereklidir.

Seti en azından geliştirme ve sınav olarak bölümlere ayırın. Geliştirme bölümü istem, model ve ayar iyileştirmeleri sırasında kullanılır, çalışırken hata çözümlemesi bu vakalar üzerinden yapılır. Sınav bölümü ise ayar bitene kadar gizli tutulur ve yalnız nihai ölçümde kullanılır. Sınav vakalarını görerek istem yazan ekip, sonucu şişirir; bu veri sızıntısıdır.

Sızıntı başka yollarla da gerçekleşir: değerlendirme vakalarının örnek olarak isteme konması, bir vakanın yanıtının bilgi tabanına eklenmesi ya da setin ince ayar verisiyle karışması. Hassas veri içeren vakaları arındırın, set erişimini sınırlayın ve vakaları herkese açık ortamlara koymayın.

Seti yaşatmak: büyütmek ve güncel tutmak

Veri seti bir kez hazırlanıp bırakılan bir dosya değildir. Her sürümü numaralayın ve değişiklik gerekçesini kaydedin; böylece ardışık ölçümler arasındaki fark, sistem değişikliğinden mi set değişikliğinden mi geldiği anlaşılır. Sürüm değişince eski sonuçlarla karşılaştırma yapmayın ya da seti yeniden ölçün.

Üretimde ortaya çıkan her hata yeni bir vaka adayıdır. Kullanıcı şikâyeti, yanlış yanıt ya da ajanın hatalı araç çağrısı doğrulanır, vaka olarak yazılır ve sete eklenir. Böylece aynı hata geri döndüğünde fark edilir. Bu, setin sistemle birlikte öğrenen bir regresyon güvencesine dönüşmesini sağlar.

Sürekli gözden geçirin. Ürünün kapsamı, kaynak belgeler ve kurallar değişince bazı beklenen sonuçlar eskir. Eskiyen vakaları güncelleyin ya da çıkarın. Aşırı büyüyen set, çalıştırması pahalı ve bakımı zor hale gelir; temsil gücü yüksek, tekrarı az vakaları tutmak çoğu zaman daha doğrudur.

Örnek senaryo: kurumsal politika asistanı

Kurgusal bir kurumda çalışanların izin ve harcama politikası sorularını yanıtlayan bir asistan geliştirilir. Ekip önce mevcut destek kayıtlarından çalışanların en sık sorduğu soruları toplar ve kişisel veriden arındırır. İnsan kaynakları ve finans uzmanlarından, yanlış anlaşılan ve istisnalı politika durumlarını içeren ek vakalar yazmaları istenir.

Her vaka için girdi, ilgili politika bölümü ve beklenen yanıtın içermesi gereken noktalar ölçüt listesi olarak yazılır. Kapsam matrisi görev türlerini (bilgi sorusu, hesaplama gerektiren soru, politikada olmayan soru) ve risk düzeylerini gösterir; politikada olmayan sorulara 'bilgi yok, yetkili birime yönlendir' beklentisi yazılır. Güvenlik için, politikayı aşmaya çalışan talepler de eklenir.

Uzmanlar, bir vaka grubunu bağımsız etiketler. Uyumsuzluk çıkan vakalarda ölçüt netleştirilir. Set geliştirme ve sınav bölümlerine ayrılır. Pilot sırasında asistanın yanlış yönlendirdiği bir istisna durum doğrulanır ve sete eklenir; sonraki sürümde bu vaka geçer. Setin değeri, ilk günkü vaka sayısından çok, bu şekilde büyüyen güvenilir kapsamdadır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Python ile Yapay Zekâ Ajanları (AI Agent) Geliştirme Eğitimi'nin ajan sistemlerinde izleme, gözlemlenebilirlik ve değerlendirme modülü, değerlendirme vakalarının tasarımını ve ajanın davranışını ölçmeyi uygulama projesiyle birlikte ele alır.

Ajan geliştirme otomasyonu odaklı çalışanlar için Yapay Zeka Ajanlarıyla Geliştirme Otomasyonu programının değerlendirme, maliyet ve proje teslimi modülü, bir ajan projesini ölçülebilir kalite kriterleriyle teslim etmeye yardımcı olur.