Büyük Dil Modeli (LLM) ile Küçük Dil Modeli (SLM): Hangi İş İçin Hangisi?

LLM ve SLM arasındaki fark yalnız boyut mu?

Büyük dil modelleri (LLM), çok geniş metin ve kod verisiyle eğitilmiş, çok sayıda parametreye sahip, genel amaçlı dil modelleridir. Soru cevaplama, özetleme, kod yazma, çok adımlı akıl yürütme ve araç kullanımı gibi birbirinden farklı görevleri tek bir modelle yürütebilirler. Genellikle güçlü sunucu altyapısı gerektirir ve kurumlar tarafından sıklıkla bulut üzerinden bir API ile kullanılırlar.

Küçük dil modelleri (SLM) aynı temel mimariye dayanır ama çok daha az parametreye sahiptir. Bu sayede daha az bellekle, daha düşük gecikmeyle ve daha düşük maliyetle çalışabilir; uygun sıkıştırma teknikleriyle dizüstü bilgisayarda, mobil cihazda ya da kurumun kendi sunucusunda koşturulabilir.

Bu model sınıfları arasında evrensel olarak kabul görmüş bir parametre eşiği yoktur; "küçük" ve "büyük" dönemin en büyük modellerine göre görecelidir. Bu yüzden pratik ayrım parametre sayısından çok, modelin nerede çalıştığı, ne kadar genel olduğu ve hangi maliyetle yanıt ürettiği üzerinden yapılır.

Ölçüt ölçüt karşılaştırma

• Görev genişliği: LLM açık uçlu, çok alanlı ve önceden tanımlanmamış görevlerde güçlüdür. / SLM iyi tanımlanmış, dar kapsamlı görevlerde, özellikle o göreve göre ince ayar yapıldığında güçlüdür.
• Akıl yürütme: LLM çok adımlı mantık, uzun bağlamda tutarlılık ve karmaşık talimatları izleme konusunda daha yeteneklidir. / SLM bu tür görevlerde daha çabuk zorlanır.
• Gecikme: LLM yanıtları daha yavaş ve ağ bağlantısına bağlıdır. / SLM cihazda ya da yakın sunucuda çok daha hızlı yanıt verebilir.
• Maliyet: LLM'de maliyet kullanılan token miktarıyla doğrudan büyür. / SLM'de çıkarım maliyeti düşüktür; yüksek hacimli tekrarlayan işlerde fark belirginleşir.
• Veri gizliliği: Bulut LLM'lerde veri sağlayıcının altyapısına gider. / SLM kurum içinde ya da cihazda çalıştırıldığında veri dışarı çıkmayabilir.
• Çevrim dışı çalışma: LLM genellikle bağlantı gerektirir. / SLM uç cihazda bağlantı olmadan çalışabilir.
• Özelleştirme: LLM'yi ince ayarlamak pahalı ve altyapı ağırlıklıdır. / SLM'yi LoRA gibi parametre verimli yöntemlerle kurumun verisine uyarlamak daha erişilebilirdir.

SLM'yi küçük ama işe yarar kılan teknikler

Küçük dil modellerinin pratikte kullanılabilir hale gelmesinin arkasında birkaç teknik vardır:

• Bilgi damıtma (distillation): Büyük bir "öğretmen" modelin çıktılarıyla küçük bir "öğrenci" model eğitilir; küçük model, büyük modelin belirli görevlerdeki davranışını taklit etmeyi öğrenir.
• Kuantizasyon: Model ağırlıkları daha düşük hassasiyetle saklanır; bellek ihtiyacı ve hesaplama yükü azalır, doğrulukta genellikle sınırlı bir kayıp olur.
• Budama (pruning): Katkısı düşük bağlantılar ya da bileşenler çıkarılarak model inceltilir.
• Parametre verimli ince ayar: LoRA gibi yöntemlerle modelin yalnız küçük bir ek katmanı eğitilir; kurumun kendi terminolojisine ve görevine uyarlama ucuzlar.
• Uç cihaz çalışma zamanları: Telefon, gömülü sistem ve dizüstü donanımı için optimize edilmiş çıkarım motorları, modelin yerelde verimli çalışmasını sağlar.

Bu teknikler LLM'ler için de kullanılır; fark, SLM'de bu optimizasyonların modelin kullanılabilirliğinin ön koşulu olmasıdır.

Kullanım senaryolarıyla seçim

LLM daha uygun olan durumlar:

• Müşteri ya da çalışanın serbest biçimde soru sorduğu, konunun önceden kestirilemediği asistanlar
• Uzun dokümanların analizi, karşılaştırılması ve çok kaynaktan sentez
• Kod üretimi, hata ayıklama ve çok adımlı ajan iş akışları
• Yaratıcı metin üretimi ve farklı dillerde nitelikli çeviri

SLM daha uygun olan durumlar:

• E-posta ya da destek talebi sınıflandırma, niyet tespiti, varlık çıkarma gibi dar ve tekrarlayan görevler
• Kişisel verinin cihazdan çıkmaması gereken mobil ve saha uygulamaları
• İnternet bağlantısının kesintili olduğu üretim sahası, araç içi ya da saha cihazları
• Çok yüksek istek hacmi nedeniyle her isteğe büyük model kullanmanın ekonomik olmadığı işler

Karar verirken şu sorular yol gösterir: Görev ne kadar dar ve tanımlı? Veri nerede kalmak zorunda? Yanıt hangi hızda ve hangi birim maliyetle gerekiyor?

Birlikte kullanım: yönlendirme ve kademeli mimari

Kurumsal uygulamalarda seçim çoğu zaman ya o ya bu değildir. Yaygın bir mimari, gelen isteği önce bir yönlendirme katmanında değerlendirmektir: Basit, sık tekrarlanan ve kalıplı istekler küçük modele, belirsiz ya da karmaşık istekler büyük modele gönderilir. Küçük model yanıtından emin olmadığında isteği büyük modele devreder. Bu yaklaşım hem maliyeti hem de gecikmeyi düşürür.

Bir diğer kalıpta büyük model, küçük modelin eğitimi için veri üretir ya da çıktıları değerlendirir; küçük model ise üretimde yükü taşır. Bilgiye dayalı işlerde ise erişim destekli üretim (RAG) ile güncel kurum bilgisi modele bağlam olarak verilir; bu sayede küçük bir model, kendi bilgisinde olmayan konularda da doğru belgeye dayanarak cevap verebilir. Hangi kombinasyonun işe yaradığı, gerçek görev örnekleriyle yapılan sistematik değerlendirmelerle (evals) sınanmalıdır.

Sık yapılan hatalar

• Her işe en büyük modeli koymak: Sınıflandırma gibi dar görevlerde büyük model gereksiz maliyet ve gecikme yaratır; kalite farkı ise görece sınırlı kalabilir.
• Küçük modelden genel asistan beklemek: Açık uçlu, çok adımlı görevlerde küçük model tutarsızlaşabilir; görev daraltılmadan kullanılmamalıdır.
• Değerlendirme yapmadan karar vermek: Genel kıyaslama tablolarındaki skorlar kurumun kendi görevindeki başarıyı göstermez. Kendi örnek verinizle test seti kurulmalıdır.
• Toplam sahip olma maliyetini unutmak: Kurum içinde çalışan bir model API ücreti doğurmaz ama donanım, bakım, güncelleme ve izleme maliyeti getirir.
• Güvenliği yalnız büyük modellere özgü sanmak: Küçük modeller de istem enjeksiyonu ve hatalı çıktı riskine açıktır; çıktı doğrulama ve koruma katmanları gerekir.

Mindset programlarında LLM ve SLM

Küçük Dil Modelleri (SLM) ve Uç Cihazda Çalıştırma eğitimi; kullanım senaryoları, model sıkıştırma ve kuantizasyon, uç cihaz çalışma zamanları ve LoRA ile alan uyarlaması başlıklarını uçtan uca bir çözüm projesiyle birleştirir. Gömülü sistem, mobil uygulama ve saha cihazı geliştiren mühendislik ekipleri ile veriyi kurum dışına çıkaramayan sektörlerdeki yapay zeka ekipleri için uygundur.

Model seçimini kurumsal düzeyde yapacak ekipler için Büyük Dil Modeli Kıyaslama ve Model Seçimi eğitimi değerlendirme kriterleri, kalite ve güvenilirlik ölçümü ve maliyet-kalite dengesi üzerine kuruludur. Kurum içinde açık modelleri çalıştırmak isteyen ekipler ise Open Source LLM Modelleri (Llama, Mistral) eğitiminde model seçimi, kendi altyapısında çalıştırma ve üretim dağıtımı konularını işler.