Veri Soyağacı (Data Lineage) Nedir, Ne İşe Yarar?

Veri soyağacı nedir?

Veri soyağacı, İngilizce adıyla data lineage, bir verinin yolculuğunun kaydıdır: veri nereden geldi, hangi sistemlerden geçti, hangi dönüşümlerden etkilendi ve sonunda hangi rapor, panel ya da modelde kullanıldı?

Bir yönetim panelindeki ciro rakamını düşünün. Bu rakam yüzlerce satırlık sipariş verisinin toplanması, kur dönüşümü, iade düşümü ve filtre kurallarının sonucudur. Veri soyağacı bu zinciri adım adım gösterir. Böylece bir rakama bakan kişi, onun nereden geldiğini ve hangi kurallarla üretildiğini izleyebilir.

Nasıl çalışır?

Soyağacı, veri akışındaki varlıkları ve aralarındaki bağlantıları kaydeder. Varlıklar tablolar, dosyalar, veri hatları, dönüşüm adımları ve raporlardır; bağlantılar ise hangi varlığın hangisini beslediğini gösterir.

Bilgi iki biçimde toplanır. Birinde araçlar, sorgu kodunu, veri hattı tanımlarını ve iş akışlarını tarayarak bağlantıları otomatik çıkarır. Diğerinde, otomatik çıkarılamayan akışlar için ilgili ekipler bağlantıları elle belgeler. Sonuç genellikle bir grafik olarak görselleştirilir ve iki yönde okunur: kaynaktan ileriye, yani veri nereye gidiyor, ve rapordan geriye, yani bu rakam nereden geliyor.

Soyağacının düzeyleri

• Tablo düzeyi: Hangi tablo hangi tablodan beslenir.
• Sütun düzeyi: Bir rapordaki alanın hangi kaynak sütunlardan ve hangi hesaplamayla türediği.
• İş düzeyi: Teknik ayrıntıdan bağımsız olarak, bir iş kavramının hangi sistemlerde yaşadığı.
• Süreç düzeyi: Verinin hangi iş sürecine ve hangi sahibe bağlı olduğu.

Sütun düzeyi, ayrıntılı etki analizi ve denetim için çoğu zaman en değerli olandır ama kurması da en zahmetlidir. Başlangıçta kritik raporlardan geriye doğru ilerlemek makul bir yoldur.

Örnek: bir satış raporundaki tutarsızlık

Örneğin finans ekibi, satış panelindeki aylık ciro ile muhasebe sistemindeki ciro arasında fark olduğunu fark ediyor. Soyağacı olmadan sorunun kaynağını aramak günler sürebilir.

Soyağacı varsa ekip paneldeki alandan geriye doğru gider. Alanın, sipariş tablosundan iade tablosu çıkarılarak üretildiğini, iade verisinin ise gece çalışan bir veri hattıyla geç geldiğini görür. Fark, iade kaydının zamanlamasından kaynaklanıyor. Sorun, doğru adımda bulunur ve düzeltme tek yerde yapılır.

Neden önemlidir?

Soyağacının üç temel faydası vardır. Birincisi güvendir: bir rakamın kaynağı gösterilebildiğinde, ona duyulan güven artar. İkincisi etki analizidir: bir kaynak tablonun yapısı değişecekse, bundan hangi rapor ve modellerin etkileneceği önceden görülür. Üçüncüsü olay müdahalesidir: hatalı bir veri tespit edildiğinde, hatanın nereye yayıldığı ve hangi çıktıların düzeltilmesi gerektiği hızla bulunur.

Düzenleyici gereklilikler ve iç denetim açısından da soyağacı değerlidir. Kişisel veri gibi hassas bilginin hangi sistemlerde bulunduğunu göstermek, uyum çalışmalarını kolaylaştırır.

Benzer kavramlardan farkı

Veri soyağacı, veri kataloğu ve veri yönetişimiyle ilişkilidir ama aynı şey değildir. Veri kataloğu hangi verinin nerede olduğunu ve ne anlama geldiğini listeler; soyağacı ise verilerin birbirinden nasıl türediğini gösterir. Veri yönetişimi kuralları, rolleri ve sorumlulukları belirler; soyağacı bu kuralların uygulandığını izlemeye yardımcı olur.

Veri kalitesi ile ilişkisi de doğrudandır: kalite sorununun kaynağını bulmak için soyağacı, sorunun ölçümü için kalite kuralları kullanılır.

Bu konuyu Mindset programlarında nerede çalışırsınız?

Mindset kataloğundaki Veri Soyağacı (Data Lineage) ve İzlenebilirlik eğitiminin modülleri arasında Soyağacı Kavramı ve Toplama Yöntemleri, Uçtan Uca Soyağacı Kurulumu, Etki Analizi ve Olay Müdahalesi ile Yönetişim, Denetim ve Uygulama bulunur.