Dil modeli uygulamalarında kalite kararları çoğu zaman birkaç örnek denemeye ve genel izlenime dayanır; oysa bir istem değişikliği bazı senaryoları iyileştirirken başkalarını sessizce bozabilir. Bu görünmez gerilemeleri yakalamanın tek yolu, uygulamanın gerçek kullanım senaryolarını temsil eden bir değerlendirme setidir. İyi kurulmuş bir eval düzeni model seçimini, istem revizyonlarını ve sürüm yükseltmelerini tahminden çıkarıp karşılaştırılabilir sayılara bağlar. Program altı modül boyunca değerlendirme disiplinini kurar. Katılımcılar görev bazlı test setleri hazırlar, deterministik ve model tabanlı puanlayıcılar yazar, ikili karşılaştırma ve insan değerlendirmesi yöntemlerini uygular. Değerlendirme laboratuvarlarında farklı modeller ve istem sürümleri aynı set üzerinde karşılaştırılır, sonuçların istatistiksel anlamlılığı incelenir. Katılımcı programdan çalışan bir eval hattı ve model karşılaştırma raporuyla ayrılır.