Veri Mimarı: Veri Platformunu Tasarlayan Rol, Görevler ve Kariyer Yolu

Veri mimarı kimdir?

Veri mimarı, bir kurumun verisinin nasıl toplanacağını, saklanacağını, dönüştürüleceğini, paylaşılacağını ve korunacağını tasarlayan uzmandır. Bir inşaat mimarının binanın planını çizmesi gibi, veri mimarı da kurumun veri altyapısının planını çizer. Uygulamayı çoğunlukla veri mühendisleri yapar; mimar ise yönü, kuralları ve parçaların birbirine nasıl bağlanacağını belirler.

Rolün temel sorusu şudur: Kurumun verisi, karar veren herkesin güvenebileceği ve ihtiyaç duyduğu anda ulaşabileceği bir biçimde nasıl düzenlenir? Bu soru; hangi sistemlerin veri üreteceğini, verinin nerede toplanacağını, hangi katmanlardan geçeceğini, kimin hangi veriye erişeceğini ve bunun maliyetini kapsar.

Görev ve sorumluluklar

Veri mimarının tipik görevleri şunlardır:

• Gereksinim analizi: İş birimlerinin hangi kararlar için hangi veriye ihtiyaç duyduğunu anlamak ve mevcut veri durumunu çıkarmak
• Referans mimari tasarımı: Alım, depolama, dönüşüm ve sunum katmanlarını içeren hedef mimariyi belirlemek
• Veri modelleme: Verinin tutulacağı yapıyı (ilişkisel model, boyutsal model, geniş tablolar gibi) iş ihtiyacına göre seçmek
• Teknoloji seçimi: Depo, işleme ve orkestrasyon bileşenlerini ihtiyaç, maliyet ve kurum yetkinliğine göre değerlendirmek
• Yönetişim ve güvenlik: Veri sahipliği, erişim kuralları, kalite ölçütleri ve mevzuat uyumunu mimariye yerleştirmek
• Ölçekleme ve maliyet: Verinin ve kullanıcıların artışına dayanacak ve maliyeti yönetilebilir kalacak yapı kurmak
• Rehberlik: Veri mühendisleri ve analistlerle tasarım kararlarını paylaşmak, mimari gözden geçirmeler yapmak

Bu çıktıların en görünür olanı, referans mimari belgesi ve yol haritasıdır.

Modelleme tarafında mimar, verinin hangi amaçla kullanılacağına göre yapıyı seçer. Raporlama için boyutsal model, esnek keşif için daha ham katmanlar, uygulama içi kullanım için işlemsel yapılar tercih edilebilir. Her seçim sorgu hızını, esnekliği ve işletme maliyetini etkiler.

Bir iş gününden somut örnek

Örneğin perakende bir kurumda pazarlama, satış ve stok ekipleri aynı müşteri için farklı rakamlar raporluyor. Veri mimarı önce bu farkın nedenini araştırır: sistemlerin her biri müşteriyi farklı tanımlıyor, güncelleme zamanları farklı ve ortak bir veri sözlüğü yok.

Çözüm olarak ortak bir müşteri tanımı önerir, kaynak sistemlerden verinin alınacağı bir ham veri katmanı, temizlenip birleştirilmiş bir katman ve raporlama için hazır bir sunum katmanı çizer. Her katmanın sahibini ve kalite kontrollerini belirler. Hassas müşteri alanları için erişim kuralları ekler. Ardından bu taslağı veri mühendisleri, bilgi güvenliği ve iş birimleriyle gözden geçirir; maliyet ve geçiş sırasını tartışarak aşamalı bir yol haritası yazar.

Veri mimarı, veri mühendisi ve veri analisti nasıl ayrılır?

Ölçüt: Odak. Veri mimarı tasarıma ve bütünlüğe, veri mühendisi bu tasarımın kodlanmasına ve işletilmesine, veri analisti ise veriden iş içgörüsü üretmeye odaklanır. Ölçüt: Zaman ufku. Mimar kurumun uzun vadeli veri yapısını düşünür, mühendis iş akışlarının çalışmasını ve verimini, analist ise yakın tarihli sorulara cevap arar. Ölçüt: Çıktı. Mimarın çıktısı belge, model ve kurallardır; mühendisin çıktısı çalışan hatlar ve tablolardır; analistin çıktısı rapor ve analizdir.

Bu üç rol sürekli birbirinin girdisini kullanır. Küçük ekiplerde bir kişi iki ya da üç rolü birden üstlenir. Veri bilimi ve yapay zeka ekipleri de mimarın kurduğu temel üzerinde çalıştığı için bu rolün kalitesi onların başarısını doğrudan etkiler.

Gereken beceriler ve sık yapılan hatalar

Teknik tarafta veri modelleme, veri tabanı ve veri ambarı teknikleri, toplu ve akış veri işleme, bulut servisleri, güvenlik ve veri yönetişimi temelleri gerekir. Teknik olmayan tarafta iş birimleriyle konuşup ihtiyacı anlamak, kararları belgelemek ve farklı görüşleri uzlaştırmak önemlidir.

Sık yapılan hatalar:

• Gereksinimleri anlamadan teknoloji seçmek
• Mükemmel tasarım peşinde olup hiçbir şeyi uygulamaya geçirmemek
• Yönetişimi sonradan eklenecek ek iş olarak görmek
• Maliyet ve işletme yükünü hesaba katmamak
• Veri sahipliğini belirsiz bırakmak; sahibi olmayan veri kalitesi düşer

İyi mimar, bu hataları önlemek için tasarım kararlarını kısa belgelerle kayıt altına alır ve gözden geçirmeleri düzenli yapar.

Yönetişim, veri mimarisinin en çok atlanan parçasıdır. Verinin sahibi, anlamı, kalite ölçüsü ve kimin görebileceği baştan tanımlanmazsa en gelişmiş platform bile güven sorununa dönüşür. Bu yüzden iyi mimari, teknik tasarımla birlikte sözlük, sahiplik ve erişim kurallarını da içerir.

Bu role nasıl girilir?

Veri mimarlığı genellikle başlangıç rolü değildir. Çoğu veri mimarı veri mühendisliği, veri ambarı geliştirme, iş zekası ya da veri tabanı yönetimi deneyiminden gelir. Yol şöyle ilerleyebilir: veri analisti ya da yazılım geliştirici olarak başlamak, veri hatlarını kurmayı öğrenmek, bir platformun sorumluluğunu almak, daha sonra tasarım kararlarına katılıp referans mimari hazırlamak.

Öğrenme planı: önce veri modelleme ve sorgulama, ardından bir bulut platformunda veri hattı kurmak, yönetişim ve güvenlik temelleri, en sonda büyük kurumsal mimari desenler. Kıdem arttıkça kurumsal mimari, veri stratejisi ve veri direktörlüğü gibi yönlere geçilebilir.

Mindset programlarında bu alan nerede çalışılır?

Mindset kataloğundaki Veri Platformu Mimarisi ve Referans Tasarım programı; gereksinim analizi ve mevcut durum, mimari desenler ve katman modeli, alım ve entegrasyon katmanı, depolama ve dönüşüm katmanı, sunum ve tüketim katmanı, yönetişim güvenlik ve kalite, ölçeklenme maliyet ve işletim ile referans mimari dokümanı ve yol haritası başlıklarını içerir. GCP Üzerinde Veri Platformu Mimarisi programı ise servis haritası, BigQuery tasarımı ve modelleme, toplu veri alımı ve depolama, akış işleme, güvenlik ve yönetişim ile otomasyon, izleme ve maliyeti kapsar.