İş için doğru büyük dil modeli nasıl seçilir: ölçütler ve değerlendirme süreci

Model seçimi neden bir ölçüm işidir?

Büyük dil modeli seçiminde sık görülen hata, genel bir sıralamaya bakıp en yüksek puanlıyı seçmektir. Genel kıyas testleri (benchmark) modellerin geniş yetenekleri hakkında fikir verir ama sizin göreviniz, sizin diliniz ve sizin veriniz için ne kadar iyi çalıştığını söylemez. Bir modelin genel bilgi sorularında başarılı olması, sizin sözleşme özetleme ya da müşteri e-postası sınıflandırma işinizde de başarılı olacağı anlamına gelmez.

Bu yüzden seçim bir tartışma değil, bir deneydir: aynı görevleri aday modellere verir, çıktıları aynı ölçütlerle puanlar ve maliyet ile gecikmeyi birlikte değerlendirirsiniz. Karar, "en iyi model" bulmaya değil, bu iş için yeterince iyi ve en uygun maliyetli modeli bulmaya dayanır. Kimi işte küçük ve hızlı bir model yeterlidir, kimi işte pahalı bir model ancak anlamlı kalite farkı yaratır.

Değerlendirme ölçütleri

Seçim yaparken aşağıdaki ölçütler birlikte tartılır:

Ölçüt: Görev kalitesi. Model sizin görevinizde doğru, eksiksiz ve istenen biçimde çıktı üretiyor mu? Doğru cevap bilinen görevlerde doğruluk, serbest metinde ise belirlediğiniz bir rubriğe göre puanlama kullanılır.

Ölçüt: Tutarlılık ve güvenilirlik. Aynı girdiye tekrar tekrar benzer kalitede cevap veriyor mu? Uydurma bilgi (halüsinasyon) eğilimi ne düzeyde? Kaynağa bağlı cevap gerekiyorsa verilen bağlama sadık kalıyor mu?

Ölçüt: Dil desteği. Türkçe metni anlama ve üretme kalitesi, kurum jargonu ve yazım doğruluğu ayrıca test edilmelidir; çok dilli genel puan Türkçe performansı garanti etmez.

Ölçüt: Gecikme. Kullanıcının beklediği yanıt süresi uygulamanın doğasına bağlıdır. Anlık sohbet ile gece çalışan toplu analiz çok farklı gecikme toleransına sahiptir.

Ölçüt: Maliyet. Girdi ve çıktı birim maliyeti ile beklenen kullanım hacmi çarpılarak aylık maliyet tahmini çıkarılır.

Ölçüt: Bağlam penceresi. Uzun belgeler ve çok dönüşlü konuşmalar için modelin kaldırabildiği bağlam yeterli mi?

Ölçüt: Yetenek uyumu. Araç çağırma, yapılandırılmış (JSON) çıktı, görsel girdi, kod üretimi gibi ihtiyacınız olan özellikler destekleniyor mu?

Ölçüt: Veri güvenliği ve yönetişim. Verinin işlendiği yer, saklama politikası, sözleşme koşulları ve kişisel veri mevzuatı uyumu kurumunuzun gereksinimleriyle örtüşüyor mu?

Adım adım değerlendirme süreci

Kendi değerlendirmenizi şu sırayla kurabilirsiniz:

• Görevi tanımlayın: Girdi neyi içeriyor, çıktının biçimi ne olacak, hangi hata türleri kabul edilemez?
• Gerçekçi bir değerlendirme seti toplayın: Kendi verinizden, gizlilik kurallarına uygun örnekler seçin. Kolay örneklerin yanında zor ve uç durumlar da bulunsun.
• Doğru cevapları ya da puan rubriğini hazırlayın: Alan uzmanı bir kişinin işaretlediği "altın" cevaplar en güvenilir ölçüt referansıdır.
• Aday modelleri belirleyin: Farklı büyüklüklerde ve farklı sağlayıcılardan birkaç model; gerekirse açık kaynak seçenek de dahil edilir.
• Aynı istemle çalıştırın ve puanlayın: Bütün adaylar aynı girdi ve koşulla denenir. Puanlama otomatik ölçütler, başka bir modelin hakemliği ve örnekleme yapılan insan incelemesi ile desteklenir.
• Gecikmeyi ve maliyeti kaydedin.
• Sonuçları tek tabloda karşılaştırın ve karar verin.

Değerlendirme döngüsü sözde kodla şöyle özetlenebilir:

for example in eval_set: for model in candidates: response = model.answer(example['input']) records.append((model.name, example['id'], score(response, example['expected']), response.latency, response.cost))

İstemi her model için küçük ölçüde uyarlamak adil olur, çünkü modeller istem biçimine farklı tepki verir; ancak bu uyarlama her model için aynı çabayla yapılmalıdır.

Kalite, maliyet ve gecikmeyi birlikte okumak

Sonuç tablosunda tek bir kazanan aramak yerine dengeleri okuyun. Bazı örnek yorumlar:

Ölçüt: Kalite farkı küçük, maliyet farkı büyük. Daha ucuz ve hızlı model seçilir; kalitedeki küçük kayıp kabul edilebilirse kazanç büyüktür.

Ölçüt: Kalite farkı büyük ve hata maliyeti yüksek. Hukuki, finansal ya da sağlıkla ilgili bir görevde daha güçlü modelin maliyeti haklı çıkabilir.

Ölçüt: Görevler farklı zorlukta. Basit istekleri küçük, zor istekleri büyük modele yönlendiren katmanlı bir yapı kurulabilir. İlk modelin güveni düşük kaldığında isteği daha güçlü modele aktaran yönlendirme, maliyeti düşürürken kaliteyi korur.

Kapalı (ticari API) ve açık ağırlıklı modeller arasında seçim ayrı bir karardır. Ticari API'ler hızlı başlangıç ve bakım rahatlığı sunar; kendi altyapınızda çalıştırılan açık modeller veri konumu ve özelleştirme avantajı sağlar ama işletme sorumluluğu getirir. Bunun için gereken altyapı ve ekip kapasitesi maliyete dahil edilmelidir.

Seçimden sonra: modeli değiştirebilir kalmak

Model piyasası hızlı değişir; bugün seçilen model yarın daha iyi veya daha ucuz bir alternatif karşısında geride kalabilir. Seçimi bir kerelik karar olarak görmek yerine değiştirilebilir bir mimari kurun:

• Model çağrısını tek bir katmandan geçirin, istemleri ve model adlarını yapılandırma dosyasında tutun.
• Değerlendirme setinizi sürekli koruyun ve her yeni model ya da sağlayıcı sürümünde yeniden çalıştırın. Aynı model adı altında yapılan güncellemeler bile çıktıyı değiştirebilir.
• Üretimde gerçek kullanım verisinden örnek toplayın ve değerlendirme setini zenginleştirin.
• Kalite, maliyet ve gecikme göstergelerini izleyin; sapma olduğunda uyarı kurun.
• Sağlayıcı kesintilerine karşı yedek model planlayın.

Bu yaklaşım bağımlılık riskini azaltır ve yeni model çıktığında geçiş kararını tahmin yerine veriyle vermenizi sağlar.

Sık yapılan hatalar

• Genel sıralamaya güvenmek. Sıralama sizin göreviniz için bir fikir verir ama kanıt değildir.
• Çok küçük bir test seti kullanmak. Birkaç örnekle yapılan karşılaştırma rastlantıya açıktır.
• Yalnızca kolay örnekleri denemek. Gerçek hata, uç durumlarda ortaya çıkar.
• Modele göre istem uyarlamamak ya da bir modeli diğerinden daha çok uyarlamak. Karşılaştırma adil olmaz.
• Maliyeti göz ardı etmek. Yüksek kullanım hacminde küçük birim farkları büyük toplam fark yaratır.
• Güvenlik ve veri konumunu en sona bırakmak. Sonradan çıkan hukuki engel tüm değerlendirmeyi boşa çıkarabilir.
• Seçimi değiştirilemez sanmak. Mimariyi tek sağlayıcıya sıkı bağlamak sonraki geçişi pahalı kılar.

Bu konuyu Mindset programlarında nerede çalışırsınız?

Yapay zeka ürün yöneticileri, veri bilimciler, yazılım mimarları ve kurumsal bilgi teknolojileri ekipleri için model seçimi, uygulamanın kalitesini ve maliyetini baştan belirleyen karardır. Mindset kataloğundaki Büyük Dil Modeli Kıyaslama ve Model Seçimi eğitimi, değerlendirme kriterleri ve kıyaslama yöntemi, kalite ve güvenilirlik ölçümü ile maliyet-kalite dengesi ve karar başlıklarını işler.

LLM Maliyet Optimizasyonu eğitimi ise LLM maliyet yapısını, model büyüklüğü ve yönlendirme stratejilerini ele alır. İki eğitim birlikte, aday modelleri ölçme ve seçilen modeli ekonomik çalıştırma sorusuna cevap verir; kurumsal ekipler kendi görev örneklerini sınıfa getirerek çıktıyı gerçek bir değerlendirme setine dönüştürebilir.