Veri gizliliği, maliyet öngörülebilirliği ve bağımsızlık gerekçeleriyle pek çok kurum dil modellerini kendi altyapısında çalıştırmayı tercih ediyor. Ancak bir modeli indirip çalıştırmak ile onu çok kullanıcılı, kararlı ve verimli bir servis haline getirmek arasında ciddi bir mühendislik farkı var. Sürekli gruplama, dikkat önbelleği yönetimi ve kuantizasyon gibi teknikler aynı donanımdan kat kat daha fazla verim almayı mümkün kılar; bunlar olmadan kurum içi kurulum hem yavaş hem pahalı kalır. Program altı modül boyunca kurum içi LLM sunumunu baştan sona kurar. Katılımcılar model seçimi ve donanım boyutlandırmasıyla başlar, vLLM ve Text Generation Inference üzerinde servisleri ayağa kaldırır, sürekli gruplama ve PagedAttention davranışını ölçer, kuantize modellerle karşılaştırma yapar. Yük testleriyle eşzamanlı kullanıcı kapasitesi belirlenir. Katılımcı programdan çalışan bir kurum içi LLM servisi ve kapasite planlama dokümanıyla ayrılır.