Data mesh (veri ağı) nedir, nasıl çalışır

Data mesh nedir?

Data mesh, analitik veriyi merkezi bir veri ekibinin yönettiği tek bir havuz olarak değil, iş alanlarının (domain) sahiplendiği ürünler olarak ele alan bir mimari ve organizasyon yaklaşımıdır. Kavramı Zhamak Dehghani ortaya atmıştır. Temel fikir, veriyi yakından tanıyan ekibin onun kalitesinden ve sunumundan da sorumlu olmasıdır.

Geleneksel merkezi yaklaşımda tüm kaynak sistemlerin verisi tek bir ekip tarafından toplanır ve temizlenir. Kuruluş büyüdükçe bu ekip tıkanır; iş alanlarının bilgisini taşımadığı için verinin anlamı kaybolur. Data mesh bu darboğazı sahipliği dağıtarak çözmeye çalışır.

Data mesh'in ilkeleri nelerdir?

Yaklaşım dört ilkeye dayanır: • Alan odaklı sahiplik: veriyi üreten iş alanı (örneğin siparişler, müşteriler, lojistik) verisinin sahibidir. • Ürün olarak veri: her alan, verisini tüketicilerin kolay bulup güvenle kullanabileceği bir ürün olarak sunar; belgelenmiş, kalite taahhütlü, erişilebilir. • Self-servis veri platformu: ortak bir platform ekibi, alanların kendi veri ürünlerini yayımlaması için gerekli altyapıyı sağlar. • Federe yönetişim: ortak kurallar (güvenlik, gizlilik, birlikte çalışabilirlik) merkezi olarak belirlenir ama otomasyonla her alanda uygulanır.

Dört ilkenin birlikte uygulanması gerekir. Yalnızca sahipliği dağıtıp platformu ve ortak kuralları atlayan bir kurum, birbirinden kopuk veri adacıkları üretir.

Veri ürünü ne demektir?

Veri ürünü, belirli bir tüketici ihtiyacını karşılamak üzere tasarlanmış, sahibi olan ve kalitesi taahhüt edilen bir veri kümesidir. Ürün düşüncesinin getirdiği şey, kullanıcıya karşı sorumluluktur: veri tanımlı bir şemayla gelir, ne anlama geldiği belgelenir, güncellenme sıklığı bilinir ve sorun çıktığında başvurulacak bir sahibi vardır.

Örneğin bir e-ticaret şirketinde sipariş alanı, tamamlanmış siparişleri temiz ve belgeli bir veri ürünü olarak yayımlar. Pazarlama ve finans ekipleri bu ürünü kendi analizleri için doğrudan kullanır; sipariş verisini ayrıca temizlemek ya da merkezi ekipten istemek zorunda kalmazlar.

Data mesh ile veri gölü ve veri ambarı arasındaki fark

Veri gölü ve veri ambarı, verinin nerede ve nasıl depolandığını tarif eden teknik bileşenlerdir. Data mesh ise bir depolama teknolojisi değil, sahiplik ve organizasyon modelidir. Bir data mesh içinde alanlar veri gölü, ambar ya da lakehouse gibi farklı depolama çözümleri kullanabilir.

Fark şudur: veri gölü ve ambar genellikle merkezi tek bir veri ekibinin yönettiği ortak bir depo anlamına gelir. Data mesh'te ise her alan kendi veri ürününü yayımlar ve ortak standartlar sayesinde bunlar birbiriyle birleştirilebilir. Küçük ve tek alanlı kurumlarda merkezi yapı çoğu zaman yeterli ve daha basittir; data mesh, alan sayısı ve veri talebi arttıkça merkezi ekibin darboğaz olduğu yapılarda anlam kazanır.

Data mesh'e geçerken dikkat edilecekler

Geçişin zor yanı teknoloji değil, sahiplik ve kültürdür. Alan ekiplerine veri sorumluluğu verilirken bunun için gerekli beceri ve zaman da verilmelidir. Aksi halde veri ürünleri sahipsiz kalır ya da kalitesi düşer.

Uygulamada küçük başlamak yaygındır: bir ya da iki alanda pilot veri ürünü çıkarmak, ortak platform yeteneklerini bu deneyimden öğrenerek büyütmek ve yönetişim kurallarını otomasyona bağlamak. Veri ürünlerinin keşfedilebilir olması için bir katalog ve veri ürünü sahiplerinin görev tanımı da en baştan netleştirilmelidir.

Mindset'te data mesh nerede çalışılır?

Mindset'in Veri Mesh ve Veri Ürünü Düşüncesi eğitiminde Data Mesh Felsefesi ve Temelleri, Veri Ürünü Tasarımı ve Sahipliği, Domain Mimarisi ve Haritalaması, Self-Serve Veri Platformu ve Federe Yönetişim ve Politika modülleri yer alır. Müfredat Dönüşüm Yol Haritası ve Uygulama ile bir Kapsamlı Data Mesh Tasarım Atölyesi ile tamamlanır.