Küçük dil modelleri (SLM): cihazda çalışabilen yapay zeka

Küçük dil modeli (SLM) nedir?

Küçük dil modeli (SLM, small language model), büyük dil modellerine (LLM) göre çok daha az parametreyle çalışan, dolayısıyla daha az bellek ve işlem gücü isteyen dil modelidir. Metin anlama, özetleme, sınıflandırma ve kısa yanıt üretme gibi görevleri yapabilir; ancak genel bilgi genişliği ve karmaşık akıl yürütme kapasitesi büyük modellere göre sınırlıdır.

"Küçük" göreceli bir ifadedir. Sınır net değildir; genel yaklaşım, bir dizüstü bilgisayarda, telefonda ya da şirket içindeki mütevazı bir sunucuda çalıştırılabilecek ölçekteki modellere SLM demektir.

Neden küçük model tercih edilir?

• Gizlilik: Model cihazda ya da kurum içinde çalışırsa veri dışarı çıkmaz.
• Gecikme: Ağ üzerinden bir hizmete gitmeden, yerelde yanıt gelir; internet bağlantısı olmayan ortamlarda da çalışır.
• Maliyet: Her çağrı için bulut bedeli ödemek yerine yerel donanım kullanılır; yüksek hacimli ve basit işlerde bu fark önem kazanır.
• Özelleştirme: Dar bir alana göre ince ayar yapmak küçük modelde daha kolay ve hızlıdır.
• Enerji: Daha az kaynak tüketir.

Bu avantajlar her zaman kaliteyle gelmez; görev zorluğu arttıkça büyük modele ihtiyaç duyulabilir.

Küçük modeller nasıl elde edilir?

• Sıfırdan küçük tasarım: Baştan düşük parametreli ve iyi seçilmiş veriyle eğitilen modeller.
• Damıtma (distillation): Büyük bir "öğretmen" modelin çıktılarından küçük bir "öğrenci" modelin öğrenmesi.
• Kuantizasyon: Model ağırlıklarının daha düşük hassasiyetle saklanması. Bellek ve hız kazancı sağlar, hafif bir kalite kaybı riski taşır.
• Budama (pruning): Katkısı az bağlantıların çıkarılması.

Cihazda çalıştırmak için ayrıca uç cihazlara uygun çalışma zamanları kullanılır; telefon, gömülü kart ya da dizüstü bilgisayarın işlemcisi ve grafik biriminden yararlanacak biçimde derlenmiş çalışma ortamları bunlara örnektir.

Örnek senaryo

Örneğin bir saha servis uygulaması, teknisyenin telefonuna kurulu bir SLM kullanıyor. Teknisyen arıza notunu serbest metin olarak yazıyor; model notu yerelde sınıflandırıyor, ilgili form alanlarını dolduruyor ve kısa bir özet çıkarıyor. İnternet bağlantısı zayıf olan depoda ya da bodrum katında bile çalışıyor, müşteri verisi cihazdan çıkmıyor. Uygulama yalnızca bu dar görevi yaptığı için küçük bir model yeterli oluyor; genel sohbet ya da çok adımlı muhakeme gerektiren sorular gerekirse büyük bir bulut modeline yönlendiriliyor.

LLM ile farkı ve sınırları

Büyük modeller geniş bilgi, uzun bağlam ve karmaşık akıl yürütmede güçlüdür, ama pahalı ve genellikle bulutta çalışır. Küçük modeller dar görevlerde, iyi hazırlandığında yeterli kalite verebilir, ancak bilmediği konuda daha kolay hata yapar ve yanlış bilgiyi güvenle sunabilir (halüsinasyon).

Pratikte kurumlar tek modele bağlı kalmaz: basit ve hacimli görevleri SLM'e, zor görevleri büyük modele yönlendiren karma düzenler kurar. Seçim yapılırken kendi görevinizle bir değerlendirme seti hazırlamak, genel başarı sıralamalarına bakmaktan daha güvenilirdir. Alan uyarlaması için LoRA gibi parametre-verimli ince ayar yöntemleri sıkça kullanılır.

Mindset programlarında bu konu

Mindset kataloğundaki Küçük Dil Modelleri (SLM) ve Uç Cihazda Çalıştırma eğitiminin modülleri küçük dil modelleri ve kullanım senaryoları, model sıkıştırma ve kuantizasyon, uç cihaz çalışma zamanları, performans ve kaynak optimizasyonu, alan uyarlaması ve LoRA ile ince ayar, uçtan uca uç cihaz çözümünü kapsar.