Temperature ve Top-p: Dil Modelinin Yaratıcılık Düğmeleri

Temperature ve top-p nedir?

Temperature (sıcaklık) ve top-p, büyük dil modelinin yanıt üretirken bir sonraki parçayı (token) nasıl seçeceğini belirleyen örnekleme parametreleridir. Model her adımda olası tüm sonraki parçalara bir olasılık verir; bu parametreler, o olasılık dağılımından seçimin ne kadar tutucu ya da ne kadar çeşitli olacağını ayarlar.

Düşük ayar modeli daha tahmin edilebilir ve tutarlı kılar, yüksek ayar daha çeşitli ve beklenmedik çıktılar üretmesine izin verir. Bunlar aynı amaca farklı yoldan hizmet eder.

Temperature nasıl çalışır?

Temperature, olasılık dağılımını seçimden önce keskinleştirir ya da yassılaştırır. Düşük değerde en olası parçanın payı daha da büyür; model neredeyse hep en olası sözcüğü seçer. Yüksek değerde olasılıklar birbirine yaklaşır; daha az olası sözcükler de seçilebilir hale gelir.

Örneğin 'Bugün hava çok ...' cümlesinde 'güzel' en olası devam olsun, 'sıcak' ve 'bunaltıcı' daha düşük olasılıklı olsun. Düşük sıcaklıkta model neredeyse her seferinde 'güzel' der. Yüksek sıcaklıkta bazı seferlerde 'bunaltıcı' ya da başka bir devam da çıkar. Ayar çok düşükken çıktı büyük ölçüde sabitlenir; yine de bazı altyapılarda tamamen aynı yanıt garantisi verilmez.

Top-p nasıl çalışır?

Top-p (nucleus sampling, çekirdek örnekleme), seçimi olasılık eşiğiyle sınırlar. Adaylar olasılığa göre sıralanır ve toplam olasılıkları belirlenen eşiğe ulaşana kadar en olası adaylar listede tutulur; geri kalanlar elenir. Seçim yalnızca bu çekirdek küme içinden yapılır.

Temperature dağılımın biçimini değiştirirken top-p dağılımın kuyruğunu keser. Model emin olduğu durumda küçük bir aday kümesiyle çalışır, emin olmadığı durumda daha geniş bir küme kalır. Bazı sistemlerde buna ek olarak top-k bulunur: olasılığa bakmadan yalnız en olası belirli sayıda aday tutulur.

Hangi görevde hangi ayar?

Genel yaklaşım görevin ne kadar tutarlılık gerektirdiğine bağlıdır: • Veri çıkarma, sınıflandırma, kod üretimi, sorulara kaynağa dayalı yanıt: Düşük sıcaklık tercih edilir. Aynı girdiye aynı çıktıyı almak önemlidir. • Özetleme ve çeviri: Düşük ile orta arası ayar çoğu zaman dengelidir. • Fikir üretme, slogan, hikâye, beyin fırtınası: Daha yüksek sıcaklık çeşitlilik sağlar.

Pratik kural: bunları aynı anda büyük ölçüde değiştirmeyin. Genellikle biri sabit tutulur, diğeri ayarlanır; çünkü etkileri birbirine karışır ve hangisinin sonucu değiştirdiğini ayırt etmek zorlaşır. Bazı model sağlayıcıları bu parametreleri belirli modellerde sabitleyebilir veya kısıtlayabilir; kullanılan modelin güncel belgesine bakmak gerekir.

Sık yapılan hatalar

• Sıcaklığı düşürerek halüsinasyonun biteceğini sanmak. Düşük sıcaklık çıktıyı tutarlı yapar, doğru yapmaz. Model yanlış bir bilgiyi tutarlı biçimde de tekrarlayabilir.
• Yüksek sıcaklıkla olgusal soru yanıtlatmak. Çeşitlilik, doğruluğu zedeleyebilir.
• Ayarı tek denemeyle seçmek. Üretken çıktı değişkendir; aynı ayarı birden çok örnek girdide denemek gerekir.
• Üretimde ayarı kayda geçirmemek. Parametre değeri çıktı davranışının parçasıdır; sürüm ve yönerge ile birlikte izlenmelidir.
• Maliyetle ilişkilendirmemek. Ayar token sayısını doğrudan değiştirmez, fakat kararsız çıktı yeniden deneme ve ek maliyet doğurabilir.

Mindset eğitimlerinde nerede işlenir?

LLM Mimarisi ve Tasarım programı çıkarım mühendisliğini, yani modelin yanıtı nasıl ürettiğini ele alır; Open Source LLM Modelleri programı kendi altyapısında model çalıştıran ekipler için üretim dağıtımı ve yönetimi işler. LLM Maliyet Optimizasyonu programında token optimizasyonu ve önbellek konuları bulunur.

Yapay zeka uygulaması geliştiren mühendisler ve ürün ekipleri, örnekleme ayarlarını bu programlardaki çıkarım ve maliyet bakış açısıyla birlikte değerlendirebilir.