Modern data stack kurulumu: katmanlar, araç seçimi ve işletme düzeni

Modern veri yığını nedir?

Modern veri yığını (modern data stack), verinin kaynak sistemlerden alınıp analiz edilebilir hâle getirilmesini bulut tabanlı, modüler ve çoğunlukla yönetilen hizmetlerle yapan mimari yaklaşımdır. Eski kurulumlarda tek bir büyük, şirket içi veri ambarı ve onun üstüne yazılan ağır ETL işleri bulunurdu. Modern yaklaşımda her katman ayrı bir görev üstlenir ve ihtiyaca göre değiştirilebilir.

Temel fikir şudur: veri önce ham hâliyle ambara taşınır, dönüşüm ise ambarın kendi işlem gücüyle ambarın içinde yapılır. Buna ETL yerine ELT denir. Dönüşümlerin SQL ile yazılması ve sürüm kontrolünde tutulması, analistlerin ve mühendislerin aynı dili konuşmasını sağlar.

Yığın tek bir ürün değildir. Veri alımı, depolama ve işleme, dönüşüm, sunum ve yönetim katmanlarından oluşan bir ekosistemdir. Kurulumun ana işi, bu katmanlar için doğru parçaları seçmek ve aralarındaki sorumluluk sınırlarını netleştirmektir.

Katmanlar ve her birinin görevi

Bir modern veri yığını tipik olarak şu katmanlardan oluşur.

• Veri alımı: uygulama veritabanları, SaaS araçları, dosyalar ve olay akışlarından veriyi ambara taşıyan bağlayıcılar. Yönetilen ELT araçları sık kullanılan kaynaklar için hazır bağlayıcı sunar; özel kaynaklar için kod yazılır.
• Depolama ve işleme: ölçeklenebilir bulut veri ambarı ya da göl evi (lakehouse). Snowflake bu kategorinin bilinen örneklerindendir; başka bulut ambarları da vardır. Depolama ile işlem gücünün ayrı ölçeklenmesi bu katmanın başlıca avantajıdır.
• Dönüşüm: ham tabloların temizlenmiş, birleştirilmiş ve iş anlamı olan modellere çevrildiği katman. dbt gibi araçlar, dönüşümleri SQL modelleri olarak yönetir, bağımlılıkları kendisi çözer, test ve dokümantasyon üretir.
• İş zekası ve sunum: panolar, raporlar ve serbest analiz arayüzleri. Burada amaç, iş birimlerinin güvenebileceği tek bir sayı seti sunmaktır.
• Orkestrasyon ve izleme: işlerin sırasını ve zamanını yöneten, hata durumunda uyaran bileşen.
• Veri kalitesi, yönetişim ve katalog: verinin nereden geldiğini, kimin sahibi olduğunu ve neye güvenilebileceğini belgeleyen katman.

Her katman değiştirilebilir olduğu için bağlantı noktalarının açık ve standart olması önemlidir.

Adım adım modern veri yığını nasıl kurulur?

Kurulum araç listesinden değil, iş sorusundan başlar.

• Karar ve sorularla başlayın: hangi pano ya da analiz hangi karara hizmet edecek? Bu liste, hangi kaynakların önce bağlanacağını belirler.
• Kaynakları envanterleyin: veri nerede duruyor, ne sıklıkla değişiyor, kim sahibi, hassas alan içeriyor mu?
• Ambarı seçin: ekibin SQL alışkanlığı, mevcut bulut sağlayıcısı, güvenlik gereksinimleri ve maliyet modeli seçimi yönlendirir.
• Alım katmanını kurun: ilk aşamada az sayıda kritik kaynak bağlayın; hepsini birden bağlamak bakım yükünü şişirir.
• Katmanlı modelleme yapın: ham, temizlenmiş ve iş modelleri olarak ayrı alanlar kurun. Dönüşümleri dbt benzeri bir araçla sürüm kontrolüne alın.
• Test ve kalite denetimi ekleyin: boş değer, tekil anahtar, ilişkisel bütünlük ve tazelik kontrolleri baştan modele yazılır.
• Sunum katmanını bağlayın: iş birimlerinin kullandığı panolar yalnızca olgunlaşmış modellerden beslensin.
• Maliyeti ve sahipliği izleyin: kimin hangi sorguya ne kadar kaynak harcadığı görünür olmalı.

Çalışan küçük bir uçtan uca dilim, kusursuz bir plandan daha değerlidir. İlk dilim, bir kaynaktan bir panoya giden yolu uçtan uca doğrular.

ELT ile ETL arasındaki fark ve dbt'nin yeri

ETL'de veri, ambara girmeden önce ayrı bir sunucuda dönüştürülür. ELT'de ise ham veri önce ambara yazılır ve dönüşüm ambarın içinde SQL ile çalışır. Modern ambarlar büyük sorguları ölçeklenebilir biçimde çalıştırabildiği için bu yol yaygınlaşmıştır. Ham verinin saklanması ek bir esneklik de verir: iş kuralı değiştiğinde dönüşüm yeniden çalıştırılır, kaynaktan yeniden çekmek gerekmez.

dbt bu yaklaşımda dönüşüm katmanını bir yazılım geliştirme disiplinine çevirir. Modeller SQL dosyalarıdır, aralarındaki bağımlılıklar ref ilişkileriyle tanımlanır, testler modelle birlikte yazılır, dokümantasyon otomatik üretilir ve değişiklikler kod inceleme sürecinden geçer. Analytics engineering rolü bu pratiğin etrafında doğmuştur: iş sorusunu anlayan ve onu güvenilir, test edilmiş veri modeline çeviren kişi.

Bu yaklaşımın tuzağı, dönüşümleri kontrolsüzce çoğaltmaktır. Her analist kendi sürümünü yazarsa aynı metriğin farklı tanımları çıkar. Ortak, adlandırma kurallı bir model katmanı bu dağınıklığı önler.

Sık yapılan hatalar ve nasıl önlenir

• Araç merkezli başlamak: önce ürün listesi, sonra problem aramak. Sonuç, kullanılmayan pano ve bakım yükü olur. Çözüm, ilk kullanım senaryosunu somut bir karara bağlamaktır.
• Her şeyi birden bağlamak: her kaynak yeni bir hata kaynağıdır. Küçük başlayıp genişlemek daha sağlıklıdır.
• Test ve izleme eklememek: verinin sessizce bozulması, güvenin hızla yitmesine yol açar. Tazelik ve kalite kontrolleri otomatik çalışmalı.
• Metrik tanımlarını dağıtık bırakmak: ciro, aktif müşteri, dönüşüm gibi temel ölçüler tek bir model katmanında tanımlanmalı.
• Maliyeti göz ardı etmek: kullanım bazlı ücretlendirmede verimsiz sorgular faturaya yansır. Sorgu izleme, ölçek ayarı ve gereksiz yeniden çalışmaları ayıklama alışkanlığı kazanılmalı.
• Yönetişimi sona bırakmak: hassas alanların, erişim yetkilerinin ve veri sahipliğinin sonradan eklenmesi çok daha pahalıdır.
• Sürdürülebilirliği düşünmemek: kurulumu yapan kişi ayrıldığında belge ve test yoksa yığın bakımsız kalır.

Bu hataların çoğu teknolojiden değil, sahiplik ve disiplinden kaynaklanır.

Kimler için, hangi rollerde işe yarar?

Modern veri yığını bilgisi veri mühendisi, analytics engineer, veri analisti, BI geliştiricisi ve veri platformu sahibi gibi rollerin ortak zeminidir. Veri mühendisi alım ve altyapı tarafında, analytics engineer dönüşüm ve modelleme tarafında, analist ise sunum ve yorumlama tarafında yoğunlaşır; ancak her rolün diğerlerinin katmanını tanıması iş birliğini kolaylaştırır.

Yöneticiler için de yığının mantığını bilmek önemlidir: yatırım kararında hangi katmanın darboğaz olduğunu, kim bir araç önerdiğinde neyin değişeceğini anlamak gerekir. Küçük şirketlerde tek kişi birden fazla katmanı üstlenebilir; büyük kuruluşlarda her katmanın ayrı sahibi olur.

Öğrenme sırası olarak SQL ve veri modelleme temeli, ardından ELT mantığı, bir bulut ambarında uygulama, dbt ile dönüşüm ve en sonunda orkestrasyon ve yönetişim önerilir.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Mindset kataloğundaki 'Modern Veri Yığını (Modern Data Stack)' eğitiminin modül başlıkları veri alımı ELT ve entegrasyon araçları, bulut veri ambarı Snowflake ve alternatifleri, veri görünürlüğü ve BI katmanı, MDS operasyon ve sürdürülebilirlik, Modern Data Stack nedir ve neden önemli, dbt ile analytics engineering ile veri kalitesi, yönetişim ve katalog konularını içerir.

'Modern Veri Yığını Tanıtımı' programı ise veri entegrasyon katmanı, veri depolama ve işleme katmanı, dönüşüm katmanı, iş zekası ve görselleştirme katmanı ile modern yığın yönetimi ve maliyet başlıklarını ele alır.