Mutation testing nedir? Testlerinizin gerçekten hata yakaladığını nasıl anlarsınız?

Mutasyon testi nedir?

Klasik kod kapsama ölçümü, testlerin hangi satırları çalıştırdığını söyler. Ancak bir satırın çalışması, o satırın doğru davranışının doğrulandığı anlamına gelmez. Doğrulama içermeyen bir test, kapsama oranını yükseltir ama hata yakalamaz.

Mutasyon testi bu boşluğa odaklanır. Araç, kodun bir kopyasında küçük bir değişiklik yapar ve test takımını yeniden çalıştırır. Eğer testlerden biri başarısız olursa değişiklik fark edilmiştir. Hiçbir test başarısız olmazsa testler o davranışı gerçekten korumuyor demektir.

Nasıl çalışır?

Süreç şu adımlarla ilerler: • Araç kodu analiz eder ve değiştirilebilecek noktaları bulur. • Her noktada küçük bir değişiklik içeren bir mutant üretir. • Test takımı her mutant üzerinde çalıştırılır. • Test başarısız olursa mutant öldürülmüştür, başarılı olursa mutant hayatta kalmıştır. • Sonuçta öldürülen mutantların toplama oranı mutasyon skorunu verir.

Hayatta kalan mutantlar asıl değerli çıktıdır. Her biri, hangi satırda hangi değişikliğin test tarafından fark edilmediğini gösterir ve eksik ya da zayıf bir testi işaret eder.

Mutasyon türleri

Araçlar farklı değişiklik türleri uygular. Sık görülenler şunlardır: • Operatör değişimi: büyüktür işaretinin büyük eşittir yapılması ya da toplamanın çıkarmaya çevrilmesi. • Koşul tersine çevirme: bir if koşulunun olumsuzlanması. • Dönüş değeri değişimi: bir fonksiyonun doğru yerine yanlış dönmesi. • Çağrı silme: bir metot çağrısının kaldırılması. • Sınır kaydırma: bir döngü sınırının bir adım kaydırılması.

Kullanılan dile ve araca göre bu liste genişler. Bazı mutantlar davranışı hiç değiştirmez; bunlara denk mutant denir ve hayatta kalmaları testlerin hatası sayılmaz.

Küçük bir örnek

Örneğin bir indirim fonksiyonu, sepet tutarı belirli bir eşiğin üstündeyse indirim uyguluyor olsun. Koşul büyüktür işaretiyle yazılmıştır. Araç bunu büyük eşittir olarak değiştirir ve mutant üretir. Test takımında yalnızca eşiğin çok altında ve çok üstünde değerler denenmişse, hiçbir test başarısız olmaz ve mutant hayatta kalır.

Bu bulgu, sınır değerinin hiç test edilmediğini gösterir. Geliştirici tam eşik değeriyle yeni bir test ekler. Artık aynı mutant üretildiğinde bu test başarısız olur ve mutant öldürülür. Sonuçta hem test takımı güçlenir hem de gerçek bir sınır hatası riski kapanır.

Faydaları ve sınırları

Mutasyon testi, kapsama oranının yanıltıcı olduğu durumlarda testlerin gerçek gücünü gösterir. Yanlış güven duygusunu azaltır ve eksik doğrulamaları somut satırlarla ortaya koyar. Kritik iş kuralları içeren modüllerde özellikle değerlidir.

Bedeli ise hesaplama maliyetidir: her mutant için test takımının yeniden çalışması gerekir, bu yüzden büyük projelerde süre uzar. Uygulamada araçlar yalnızca değişen kodu hedefler, testleri paralel koşar ve kritik modüllerle sınırlı kalır. Skorun mükemmel olması da hedef değildir; denk mutantlar ve maliyet dengesi gözetilmelidir.

Mindset programlarında nerede karşınıza çıkar?

Mutation Testing ile Test Kalitesi programı Mutation Testing Temelleri, Analiz Çalıştırma ve Sonuç Yorumlama ile Performans, Kapsam ve Süreç Entegrasyonu modüllerinden oluşur. Proje Test ve Doğrulama Süreçleri programı ise mutasyon testinin içinde yer aldığı geniş test stratejisini ele alır. Test kalitesini yalnızca kapsama oranıyla raporlayan geliştirme ekipleri ve kalite mühendisleri için uygun bir tamamlayıcıdır.