Küçük Dil Modelleri (SLM) ve Uç Cihazda Çalıştırma

Kurumlar dil modeli projelerinde iki temel kısıtla karşılaşır: veri gizliliği nedeniyle metnin dışarı çıkamaması ve token başına ödenen bulut maliyetinin ölçekle birlikte öngörülemez hâle gelmesi. Küçük dil modelleri bu iki kısıtı aynı anda hedefler; birkaç milyar parametrelik kompakt modeller doğru sıkıştırma ve uyarlama teknikleriyle sınıflandırma, özetleme, bilgi çıkarımı ve alan içi soru-cevap gibi görevlerde kurumsal kalite eşiğini yakalayabilir. Program, hangi görevin küçük modelle karşılanabileceğini ölçüye dayalı biçimde ayırt etme ve donanım bütçesine göre model seçme disiplinini kurar. Altı modül, teorik anlatımı laboratuvar oturumlarıyla dönüşümlü ilerletir. Katılımcılar model ailelerini karşılaştırma tablosu üzerinden değerlendirir, seçtikleri modeli GPTQ veya AWQ ile kuantize eder, GGUF formatına dönüştürür ve yerel çalışma zamanında servis eder. LoRA ile alan uyarlaması yapıldıktan sonra doğruluk kaybı, token üretim hızı ve bellek ayak izi ölçülür. Program sonunda her katılımcı, kendi seçtiği donanımda çevrimdışı çalışan bir kurumsal asistanı ve buna ait ölçüm raporunu çıktı olarak üretir.