Veri kataloğu ve metadata yönetimi: kurulum ve benimseme yol haritası

Veri kataloğu ve metadata nedir?

Metadata, verinin kendisi hakkındaki bilgidir: bir tablonun adı, sütunları, sahibi, açıklaması, güncellenme sıklığı, hangi kaynaklardan beslendiği. Veri kataloğu ise bu bilgiyi tek bir yerde toplayıp aranabilir, anlaşılır ve yönetilebilir hale getiren sistemdir. Kütüphanedeki katalog fişleri gibi düşünülebilir: kitabın içeriğini değil, nerede olduğunu, kim tarafından yazıldığını ve ne hakkında olduğunu söyler.

Katalog olmayan kurumlarda analistler her yeni soruda "bu veri nerede, kim sahibi, güvenilir mi" sorularına yanıt aramak için zaman kaybeder. Aynı veri farklı ekiplerde farklı adlarla ve farklı tanımlarla yaşar. Katalog bu belirsizliği azaltır: veri keşfini kolaylaştırır, tanımları ortak bir sözlükte toplar ve veriye kimin neden eriştiğini görünür kılar.

Veri kataloğu veri yönetişiminin altyapısıdır, ama tek başına yönetişim değildir. Katalog bilgiyi gösterir; sahiplik ve politika kararlarını insanlar alır.

Kurulumdan önce: kapsam ve araç seçimi

Katalog projesi araç seçerek değil, kapsam belirleyerek başlar. Hangi veri kaynakları öncelikli, kimler kullanacak ve hangi sorun çözülecek? "Her şeyi kataloğa al" yaklaşımı, kimsenin sahip çıkmadığı büyük ama boş bir kataloğa yol açar. İlk aşamada az sayıda kritik veri kaynağıyla başlamak daha sağlıklıdır.

Araç seçiminde dikkat edilecek başlıklar:

• Açık kaynak mı, ticari ürün mü olacağı ve bakım yükü
• Mevcut veri kaynaklarına bağlayıcıların olup olmadığı
• İş sözlüğü, etiketleme ve sınıflandırma desteği
• Soyağacı, erişim denetimi ve politika özellikleri
• Mevcut araçlarla (veri ambarı, BI, iş akışı) entegrasyon

Piyasada hem açık kaynak hem ticari seçenekler vardır; DataHub, OpenMetadata ve Collibra bu seçeneklerden bazılarıdır. Doğru seçim kurumun ihtiyaç ve kaynaklarına bağlıdır; belirli bir aracı öne çıkarmak yerine ihtiyaç listesinden gitmek gerekir.

Adım adım katalog kurulumu

Teknik kurulum tipik olarak şu sırayı izler:

• Platformu kur ve yapılandır
• Kaynak bağlayıcılarını tanımla (veri ambarı, veritabanı, BI aracı) ve varlıkları otomatik keşfet
• Varlıklara açıklama, etiket ve sınıflandırma ekle (örneğin kişisel veri içeren sütunları işaretle)
• İş sözlüğü oluştur: ortak kavramların tek tanımı
• Varlıklara sahip ve sorumlu ata
• Soyağacı (lineage) bilgisini bağla: verinin hangi kaynaktan hangi rapora aktığı
• Veri kalitesi sonuçlarını kataloğa entegre et
• Erişim ve politika kurallarını tanımla

Otomatik keşif iş yükünü azaltır ama anlam katmanını kendiliğinden kurmaz. Sütun adının "tutar" olması, ne tür bir tutar olduğunu, hangi para biriminde ve hangi koşulda hesaplandığını söylemez. Bu bilgi sahibi tarafından yazılmalıdır.

Pilot aşamada küçük bir tablo grubuyla başlayıp ilk kullanıcılardan hangi bilgiyi aradıklarını ve neyi bulamadıklarını sormak, hangi metadata alanlarının öncelikli doldurulacağını gösterir.

Sahiplik, soyağacı ve kalite

Katalogun değeri, bilginin güncel ve güvenilir olmasına bağlıdır; bu da sahiplikle mümkündür. Her önemli veri varlığının bir sahibi (iş tarafı) ve bir sorumlusu (teknik taraf) olmalıdır. Sahibi olmayan açıklama zamanla eskir, kimse güncellemez.

Soyağacı, bir raporda görülen değerin hangi tablolardan, hangi dönüşümlerle geldiğini gösterir. Bir veri sorunu çıktığında etkilenen raporları hızlıca bulmayı ve bir kaynakta yapılacak değişikliğin etkisini önceden görmeyi sağlar.

Kalite bilgisinin kataloğa bağlanması, kullanıcının bir veri kümesini kullanmadan önce son kalite kontrol sonuçlarını görmesine olanak verir. Böylece analist "bu tabloya güvenebilir miyim" sorusunun yanıtını kataloğun içinde bulur.

Örneğin ödeme tablosunun sahibi finans ekibinden bir yönetici, sorumlusu ise veri mühendisliğinden biri olabilir. Tablonun tanımında değişiklik gerektiğinde ikisinin de haberdar edilmesi gerekir; bu eşleşmeyi katalogda görünür tutmak soruların doğru kişiye gitmesini sağlar.

Benimseme: kataloğu kullanılır hale getirmek

Katalog projelerinin en sık takıldığı yer teknik kurulum değil, kullanımdır. Kimse kataloğa bakmıyorsa içindeki bilgi güncellenmez ve değer üretmez. Benimsemeyi artıran uygulamalar:

• Katalogu mevcut iş akışlarına bağlamak (analistler ilk burada arasın)
• Veri sahiplerine açık ve küçük görevler vermek
• Başarılı kullanım örneklerini ekiplerle paylaşmak
• Eksik ya da yanlış bilgiyi bildirmeyi kolaylaştırmak
• Önceliklendirilmiş alanlarda başlayıp kademeli ölçeklemek

Örneğin bir kurum önce satış ve finans verisiyle başlıyor, bu alanlardaki analistleri ilk kullanıcı olarak seçiyor ve her yeni rapor için katalogdan veri aramayı alışkanlık haline getiriyor. Sonuçlar görününce diğer alanlar kendiliğinden talep ediyor. Bu kademeli yol, yukarıdan zorlanan bir yayılımdan daha sürdürülebilirdir.

Sık hatalar ve öğrenme yolu

Sık görülen hatalar: önce aracı seçip ihtiyacı sonra düşünmek, her şeyi birden kataloğa almak, sahiplik atamadan yayına çıkmak, iş sözlüğünü atlayıp yalnızca teknik metadata göstermek ve benimseme planı yapmamak.

Öğrenme yolunda ilk aşama katalog kavramı, metadata türleri ve araç seçimidir. Sonraki aşama seçilen bir araçta kurulum, bağlayıcılar ve varlık keşfidir. Daha ileri aşamada iş sözlüğü, sınıflandırma, sahiplik, soyağacı, kalite entegrasyonu ve erişim politikaları yer alır. Son aşama, bu bileşenleri bir uygulama projesinde birleştirip benimseme ve işletme sürecini yönetmektir.

Pratikte küçük bir veri kaynağı için deneme ortamı kurup birkaç tablo üzerinde sahiplik, açıklama ve soyağacı eklemek, kavramları somutlaştıran en hızlı alıştırmadır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Mindset kataloğunda iki ilgili program vardır. Veri Kataloğu (DataHub, Collibra): Veri Kataloğu Temelleri ve Seçim, DataHub ile Metadata Yönetimi, DataHub Kurulum ve Konfigürasyonu, Collibra ile Kurumsal Veri Yönetişimi, Benimseme Yönetimi ve Ölçekleme, Araç Seçimi ve Entegrasyon Stratejisi, Kapsamlı Katalog Uygulama Projesi. Veri Kataloğu Kurulumu ve Metadata Yönetimi (OpenMetadata): kaynak bağlayıcıları ve varlık keşfi, iş sözlüğü, etiket ve sınıflandırma, sahiplik, soyağacı ve kalite entegrasyonu, yönetişim, erişim ve politikalar.