Ajan Değerlendirme ve Test Çerçeveleri

Ajanlar tek bir yanıt üretmez; karar verir, araç çağırır, hata alır ve yeniden dener. Bu nedenle klasik birim testleri ve tek seferlik yanıt karşılaştırmaları ajan kalitesini ölçmekte yetersiz kalır. Güvenilir değerlendirme, nihai görev başarısının yanında yörünge kalitesini, araç seçim doğruluğunu, adım sayısını ve maliyeti birlikte izleyen çok boyutlu bir ölçüm sistemi gerektirir. Program bu sistemi kurumsal yazılım kalite süreçlerinin bir parçası olarak ele alır. Altı modül, değerlendirme kümesi tasarımından sürekli entegrasyona kadar uzanır. Katılımcılar temsili görev kümesi oluşturur, deterministik doğrulayıcılar ile model tabanlı değerlendiricileri birlikte kullanır, değerlendirici güvenilirliğini insan etiketiyle kalibre eder. Regresyon testleri boru hattına bağlanır ve üretim izleme verisi değerlendirme kümesine geri beslenir. Program sonunda her katılımcı, kendi ajanı için çalışan bir değerlendirme paketi ve kalite eşiği tanımı ortaya çıkarır.