Veri ambarı uzmanı ne yapar, bu role hangi becerilerle girilir?

Veri ambarı uzmanı kimdir?

Veri ambarı uzmanı, bir kurumun farklı sistemlerde dağınık duran verisini tek bir yapıda, tutarlı ve sorgulanabilir biçimde toplayan kişidir. Satış, finans, müşteri hizmetleri ve operasyon sistemleri kendi tablolarını ve kendi tanımlarını taşır. Uzman bu kaynakları ortak bir modele oturtur; böylece yönetici ciroyu, analist müşteri sayısını, veri bilimci model girdisini aynı kaynaktan ve aynı tanımla alabilir.

İngilizce karşılığı data warehouse engineer ya da data warehouse developer olan rol, bazı kurumlarda veri mühendisi unvanıyla birleşir. Fark şudur: veri ambarı uzmanının odağı toplanan verinin analize uygun biçimde modellenmesi, performansı ve maliyetidir. Ham veriyi taşıyan boru hatlarını kuran kişi ise daha çok ETL ya da veri mühendisi rolüne yakındır.

Bir iş gününde neler yapar?

Günlük iş, iş birimlerinden gelen bir ihtiyaçla başlar. Örneğin satış müdürü bölge bazında ciro ve iade oranını aylık görmek istiyor. Uzman önce bu sorunun hangi kaynak sistemlerden beslendiğini bulur, tanımlar üzerinde anlaşır ve hangi ayrıntı düzeyinde veri gerektiğini sorar. Sonra bir olgu tablosu ile tarih, bölge, ürün gibi boyut tablolarından oluşan bir model tasarlar.

Tipik bir sorgu şöyle görünür: bölge adı ile toplam tutarı seçip olgu tablosunu tarih ve bölge boyutlarına bağlamak, belirli bir yıla filtrelemek ve bölgeye göre gruplamak. Böyle bir sorgunun hızlı çalışabilmesi için tablonun bölümlenmesi, kümelenmesi ya da dağıtım anahtarının doğru seçilmesi gerekir.

Sık yapılan işler: • Veri modelleme: olgu ve boyut tabloları, yıldız ya da kar tanesi şema • Veri yükleme düzeninin tasarlanması ve gecikme ya da hata durumlarının izlenmesi • Sorgu performansı ve maliyet takibi • Erişim yetkileri, maskeleme ve uyum gereksinimleri • Veri kalitesi kontrolleri ve tanım belgeleri

Hangi platformlarla çalışır?

Modern veri ambarlarının büyük kısmı bulutta çalışır ve her platformun kendi işletim mantığı vardır. Snowflake'te depolama ve hesaplama ayrıdır; hesaplama gücü sanal ambar (virtual warehouse) boyutlarıyla yönetilir, bu nedenle uzmanın boyutlandırma ve eşzamanlılık kararları hem hız hem maliyeti belirler. BigQuery'de tablolar bölümlenir ve kümelenir; uzman sorgunun taradığı veriyi azaltarak hem süreyi hem faturayı düşürür. Amazon Redshift'te tablo tasarımı, veri dağıtımı ve iş yükü yönetimi (WLM) performansın temelini oluşturur, Spectrum ise bulut depolamadaki veriyi sorgulamayı sağlar.

Platform farklarına rağmen çekirdek yetenek aynıdır: SQL, veri modelleme, yükleme ve dönüşüm desenleri, performans ve maliyet yönetimi. Bir platformda derinleşen uzman diğerine daha kolay geçer.

Performans ve maliyet sorumluluğu

Veri ambarı uzmanının sorumluluğu çalışan bir model kurmakla bitmez; sistemin zamanla hızlı ve ucuz kalmasını da sağlamak gerekir. Büyük tablolar bölümlenmezse her sorgu tüm veriyi tarar. Gereksiz kopyalanan tablolar depolamayı şişirir. Eşzamanlı çalışan raporlar aynı kaynağı paylaşırsa gecikme oluşur.

Bu yüzden uzman sorgu planlarını okur, yavaş çalışan sorguların nedenini bulur, sık kullanılan özetleri önceden hesaplatır ve platforma göre kaynak limitleri koyar. Maliyet yönetişimi de rolün parçasıdır: hangi ekibin ne kadar kaynak kullandığını görünür kılmak, gereksiz çalışan işleri kapatmak ve uyarı eşikleri tanımlamak gerekir.

Komşu rollerle sınır

Veritabanı yöneticisi (DBA) genellikle işlem yapan uygulama veritabanlarının sağlığına bakar; veri ambarı uzmanı ise analitik sorgu için tasarlanmış ayrı bir yapıyla ilgilenir. ETL geliştirici, kaynaktan ambara veri taşıyan süreçleri kurar; veri ambarı uzmanı hedef modeli ve performansı tasarlar. Küçük ekiplerde bu roller aynı kişide birleşebilir.

Veri analisti ambarı tüketicisidir: sorgu yazar, rapor hazırlar. Veri bilimci modelleme için ambarı kullanır. Analytics engineer unvanı ise bazı kurumlarda ambar içindeki dönüşüm katmanını sahiplenen kişi için kullanılır. Rol adları kurumdan kuruma değiştiği için ilan metninde sorumlulukları okumak daha güvenilirdir.

Gerekli beceriler ve başlangıç yolu

Başlangıç için SQL en kritik beceridir. Birleştirme, gruplama, pencere fonksiyonları ve alt sorgular rahatça yazılabilmelidir. Ardından boyutsal modelleme gelir: olgu ve boyut tabloları, tanecik düzeyi, yavaş değişen boyutlar. Bir diğer katman platform bilgisidir; bir bulut ambarında yükleme, performans ve güvenlik seçeneklerini tanımak.

Öğrenme yolu olarak önce küçük bir veri kümesiyle yıldız şema tasarlayıp kendi bilgisayarınızda ya da bir bulut ambarının deneme ortamında sorgulamak etkilidir. Ardından aynı modeli bölümleme ve kümeleme gibi bir iyileştirmeyle yeniden kurup sorgu süresindeki farkı gözlemleyin. Portföy için, kaynak sistem tanımı, model şeması ve sorgu örneklerinden oluşan kısa bir belge hazırlamak ilan değerlendirmelerinde somut kanıt sağlar.

Sık hatalar: kaynak sistemin tablo yapısını aynen kopyalayıp analitik model kurmadan bırakmak, tanecik düzeyini baştan netleştirmemek, performansı veri büyüdükten sonra düşünmek ve veri kalitesi kontrollerini ihmal etmek.

Mindset programlarında nerede çalışılır?

Mindset kataloğunda veri ambarı platformlarına göre ayrışan programlar var. Snowflake ile Veri Sorgulama, platform mimarisi, sanal ambar yönetimi, veri yükleme, yarı yapısal veri sorgulama, veri paylaşımı ile güvenlik ve uyum konularını işler; Snowflake İleri Seviye programı ise performans ve maliyet optimizasyonuna odaklanır. BigQuery ile Bulut Sorgulama ve BigQuery İleri Seviye: Bölümleme ve Kümeleme programları, Google Cloud ekosisteminde sorgu ve maliyet yönetimini, bölümleme ve kümeleme stratejilerini ele alır. Amazon Redshift Uzmanlık programı tablo tasarımı, sorgu optimizasyonu, iş yükü yönetimi, Spectrum ve maliyet konularını kapsar.

Hangi programın uygun olduğu, ekibin kullandığı platforma bağlıdır. Analitik ekipler SQL ile başlayıp ilgili platformda derinleşirken, veri mühendisliği ekipleri performans ve maliyet programlarını sonraki aşamada değerlendirebilir.