Veri Profilleme: Kullanmadan Önce Veriyi Tanımak

Veri profilleme nedir?

Veri profilleme (data profiling), bir veri kümesini kullanmadan önce yapısını, içeriğini ve kalitesini istatistiksel özetlerle incelemektir. Sütunlarda kaç boş değer olduğu, değerlerin hangi aralıkta durduğu, hangi biçimlerin kullanıldığı ve tablolar arası ilişkilerin tutarlı olup olmadığı bu inceleme ile ortaya çıkar.

Profilleme veriyi değiştirmez, hakkında bilgi üretir. Elde edilen profil, veri kalitesi kurallarını yazmadan, bir göç ya da entegrasyon projesine başlamadan ya da bir model eğitmeden önce 'veri gerçekte nasıl görünüyor' sorusunu yanıtlar. Belgede yazanla gerçekte olan arasındaki fark çoğu zaman ancak profilleme ile görülür.

Hangi bilgiler çıkarılır?

Profilleme farklı düzeylerde yapılır: • Sütun düzeyi: Veri tipi, boş değer sayısı ve oranı, benzersiz değer sayısı, en küçük ve en büyük değer, ortalama ve medyan, en sık geçen değerler, uzunluk ve biçim örüntüleri (örneğin telefon numarası kalıbı). • Tablo içi, sütunlar arası: Bağımlılıklar (posta kodu ile il uyumu gibi), anahtar adayı olabilecek sütunlar, mantıksal çelişkiler (bitiş tarihi başlangıçtan önce). • Tablolar arası: Yabancı anahtarın karşılık bulup bulmadığı, ortak anahtarlardaki çakışma ve yetim kayıtlar.

Sonuçlar, tek tek rakamlardan çok hangi sütunun şüpheli göründüğünü işaret ettikleri için değerlidir.

Örnek: müşteri tablosu

Örneğin bir müşteri tablosunu profilleyen analist şunları görebilir: e-posta sütununda boş değerler var; doğum tarihi sütununda gelecekteki tarihler yer alıyor; telefon sütununda hem boşluklu hem tireli biçimler karışmış; müşteri numarası benzersiz olması gerekirken yinelenen kayıtlar var; il sütununda aynı şehrin farklı yazımları birbirinden ayrı değer olarak duruyor.

Bu bulguların her biri bir kalite kuralına dönüşür: e-posta zorunlu mu, tarih aralığı nedir, telefon hangi biçimde saklanacak, müşteri numarası benzersiz olmalı. Profilleme sorunları tahmin etmekten çıkarıp kanıtlı hale getirir ve düzeltme önceliğini belirler.

Nasıl yapılır?

Küçük veri kümelerinde elektronik tablo ya da Python'da pandas kütüphanesinin describe() ve isna() gibi işlevleri hızlı bir ön profil verir. Büyük ve sürekli akan veride ise profil çıkaran araçlar ya da veri kalitesi çerçeveleri kullanılır. Great Expectations gibi çerçeveler, profil sonucundan doğrulama beklentileri üretebilir.

Akış genellikle şöyledir: veriyi örnekle ya da tümünü tara, sütun istatistiklerini üret, olağan dışı değerleri ve örüntü sapmalarını incele, iş sahipleriyle bulguları doğrula, kuralları belirle ve otomatik kontrole çevir. İşin kritik kısmı iş bilgisidir: bir değerin hatalı mı yoksa geçerli bir istisna mı olduğuna araç değil, veriyi bilen kişi karar verir.

Nerelerde kullanılır?

• Veri kalitesi projeleri: Sorunların nerede yoğunlaştığını bulmak.
• Veri göçü ve entegrasyon: Kaynak sistemin gerçek içeriğini hedefe taşımadan önce görmek.
• Veri ambarı ve ETL: Dönüşüm kurallarını gerçek veriye göre yazmak.
• Yapay zeka ve analitik: Modeli eğitmeden önce eksik, dengesiz ya da aykırı veriyi saptamak.
• Veri yönetişimi: Hassas veri alanlarını ve sahipliği belirlemek, ana veri uyumsuzluklarını görmek.

Profilleme tek seferlik olmak zorunda değildir; veri değiştikçe düzenli yinelenerek sapmaları erken yakalar.

Mindset eğitimlerinde nerede işlenir?

Great Expectations ile Veri Kalitesi Testi programının 'Profilleme ve Beklenti Üretimi' modülü, profilden doğrulama kuralı üretmeyi gösterir. Veri Yönetişimi ve Veri Kalitesi programı veri kalitesi boyutlarını ve değerlendirme süreçlerini, Yapay Zeka için Veri Hazırlığı ve Veri Kalitesi programı ise modelleme öncesi temizleme ve etiketleme adımlarını işler.

Veri mühendisleri, veri analistleri ve veri yönetişimi ekipleri için uygundur; Gerçek Zamanlı Veri Kalitesi Doğrulama programı akış verisinde aynı yaklaşımı sürekli kontrole taşır.