Bir modelin test kümesindeki skoru, o modelin üretimde nasıl davranacağının yalnızca kaba bir özetidir. Aynı skora sahip iki model, belirli bir müşteri segmentinde ya da girdideki küçük bir değişiklik karşısında tamamen farklı davranabilir. Yazılım mühendisliğinde birim testi neyse makine öğrenmesinde davranış testi odur: modelin bilinen kurallara, değişmezlere ve beklenen tepkilere uyup uymadığını doğrular. Bu testler olmadan model kalitesi tek bir sayıya indirgenmiş olur. Program altı modül boyunca test piramidini makine öğrenmesine uyarlar. Katılımcılar veri şeması ve dağılım testlerini yazar, minimum işlevsellik ve değişmezlik testlerini uygular, dilim bazlı performans kontrolleri kurar ve model regresyon test setini oluşturur. Test laboratuvarlarında kasıtlı olarak bozulmuş modeller ve veri kümeleri kullanılarak testlerin yakalama gücü ölçülür. Katılımcı programdan çalışan bir otomatik model test paketi ve kalite kapısı tanımlarıyla ayrılır.