Metaveri nedir? Veriyi anlatan veri

Metaveri nedir?

Metaveri (metadata), başka bir veriyi tanımlayan, açıklayan ve bağlamına oturtan veridir. Kısa tanımı "veri hakkında veri"dir. Bir kütüphane kataloğu iyi bir benzetmedir: kitabın metni asıl veridir; yazar, yayın tarihi, konu ve raf numarası ise metaveridir. Katalog sayesinde kitabı açmadan onu bulabilir, ne olduğunu anlayabilir ve ne zaman güncellendiğini görebilirsiniz.

Kurumsal veri ortamlarında aynı mantık geçerlidir. Bir tablonun adı, sütunları, veri tipleri, sahibi, hangi sistemden beslendiği ve en son ne zaman yenilendiği metaveridir. Metaveri olmadan elinizde yalnızca anlamı belirsiz bir tablo vardır.

Metaverinin türleri

Metaveri genellikle şu başlıklarda sınıflandırılır:

• Teknik metaveri: şema, tablo ve sütun adları, veri tipleri, indeksler, biçim, depolama konumu. Sistemin kendisinden okunabilir.
• İş metaverisi: terimin iş anlamı, tanımı, sahibi ve sorumlusu, hassasiyet sınıfı, hangi iş sürecinde kullanıldığı. Bunu çoğunlukla insanlar yazar.
• Operasyonel metaveri: verinin ne zaman, hangi iş akışıyla yüklendiği, kaç satır işlendiği, işin başarılı olup olmadığı, son erişim zamanı.
• Sosyal ve kullanım metaverisi: kim sorguluyor, hangi pano bu tabloya bağlı, hangi etiketler verilmiş.
• Veri soyağacı (lineage) metaverisi: verinin kaynaktan hedefe hangi dönüşümlerden geçtiği.

Sık kullanılan başka bir örnek dosya metaverisidir: bir fotoğrafın çekim tarihi, cihaz modeli ve konum bilgisi dosyanın içinde saklanır.

Metaveri ne işe yarar?

Metaverinin işlevi, veriyi bulunabilir, anlaşılabilir ve güvenilir kılmaktır:

• Keşif: analistler ihtiyaç duydukları tabloyu etiket ve açıklamalarla arayarak bulur.
• Anlam birliği: "aktif müşteri" teriminin hangi tablodan hangi kurala göre hesaplandığı belgelenir; farklı raporlar farklı sonuç vermez.
• Güven ve etki analizi: bir kolonu değiştirmeden önce ona bağlı raporların ve iş akışlarının listesi görülür.
• Yönetişim ve uyum: kişisel veri içeren alanlar işaretlenir, erişim politikaları buna göre uygulanır.
• Otomasyon: veri hatları metaveri ile yönetildiğinde yeni kaynaklar kod yazmadan yapılandırma ile eklenebilir.

Nasıl toplanır ve yönetilir?

Metaveri farklı yollarla elde edilir. Teknik ve operasyonel kısım, veritabanlarına, depolama sistemlerine ve veri hatlarına bağlanan bağlayıcılarla otomatik toplanır. İş metaverisi ise veri sahiplerinin ve veri sorumlularının (data steward) açıklama, etiket ve sınıflandırma girmesiyle zenginleşir.

Toplanan metaveri çoğunlukla bir veri kataloğunda tutulur. Katalog, arama, iş sözlüğü, soyağacı görünümü ve erişim politikalarını tek arayüzde birleştirir. DataHub, Collibra ve OpenMetadata gibi araçlar bu işi görür. Başarının anahtarı araç kurmaktan çok sahiplik düzeni, güncelleme alışkanlığı ve kullanıcı benimsemesidir; sahibi olmayan ve eskimiş açıklama, yanlış açıklamadan daha az bile olsa güveni zedeler.

Küçük bir örnek

Örneğin bir satış raporunda toplam ciro beklenenden düşük çıkıyor. Analist, rapora bağlı tabloyu veri kataloğunda açar. Teknik metaveri tablonun günlük yenilendiğini, operasyonel metaveri ise dünkü yükleme işinin başarısız olduğunu gösterir. Soyağacı görünümü, tablonun bir dönüşüm adımı üzerinden birden fazla kaynak sisteme bağlı olduğunu ortaya çıkarır. İş sözlüğü de ciro alanının iade edilen siparişleri düştüğünü yazar.

Bu bilgilerle analist sorunun veri yükleme hatasından kaynaklandığını dakikalar içinde anlar; veri ekibine doğrudan doğru işi bildirir. Metaveri yoksa aynı araştırma farklı kişilere sorularak günler alabilir.

İlişkili kavramlardan farkı

Metaveri ile veri sözlüğü (data dictionary) sık karıştırılır. Veri sözlüğü, metaverinin yapılandırılmış bir belge olarak yazılmış bir alt kümesidir: alan adı, tip, açıklama gibi. Veri kataloğu ise sözlüğü, soyağacını, sahipliği ve kullanım bilgisini canlı ve aranabilir biçimde birleştiren araçtır. Veri soyağacı, metaverinin bir türüdür; kaynaktan hedefe akışı anlatır.

Metaveri ile asıl veri arasındaki sınır bağlama göre kayar: bir sistem için metaveri olan bilgi, başka bir sistem için asıl veri olabilir. Örneğin sorgu günlükleri, güvenlik ekibi için asıl analiz verisidir.

Mindset programlarında nerede çalışılır?

Veri Sözlüğü ve Metadata Yönetimi programı metadata türlerini, veri sözlüğü tasarımını, veri katalogu araçlarını, soyağacı yönetimini ve kurumsal benimseme stratejisini ele alır. Veri sorumlusu, yönetişim ve analitik ekipleri için başlangıç noktasıdır.

Veri Kataloğu Kurulumu ve Metadata Yönetimi (OpenMetadata) ile Veri Kataloğu (DataHub, Collibra) programları ise araç odaklıdır; bağlayıcılar, iş sözlüğü, sahiplik ve politika konularını uygulamalı işler. Metadata Odaklı Pipeline Otomasyonu programı, metaverinin veri hattı üretiminde nasıl kullanıldığını gösterir.