Veri Mühendisliği için Python Test Otomasyonu

Veri hatlarında hatalar çoğunlukla derleme aşamasında değil, aylar sonra bir raporun tutmamasıyla ortaya çıkar. Dönüşüm mantığındaki bir yuvarlama farkı, zaman dilimi kayması ya da null değer varsayımı sessizce yanlış sonuç üretir ve geriye dönük düzeltmesi pahalıya mal olur. Yazılım ekiplerinde yerleşik olan test disiplini veri tarafında çoğu zaman eksik kalır; oysa dönüşüm kodu da uygulama kodu gibi birim, entegrasyon ve sözleşme testleriyle korunabilir. Dört modüllük atölye, pytest tabanlı örnek bir veri projesi üzerinde ilerler. Katılımcılar dönüşüm mantığını saf fonksiyonlara ayırarak test edilebilir hale getirir, pandas ve PySpark DataFrame karşılaştırmalarını yazar, test konteynerleriyle kaynak ve hedef bağlantılarını içeren entegrasyon testleri kurar, son modülde bütün bunları sürekli entegrasyon hattına kalite kapılarıyla bağlar. Çıktı, katılımcının kendi projesine taşıyabileceği bir test iskeleti ve hat yapılandırmasıdır.