Veri Ambarı mı Veri Gölü mü? Şema, Kullanıcı ve Maliyet Açısından Karşılaştırma

Ortak zemin: kurumsal veriyi tek yerde toplamak

Veri ambarı (data warehouse) ve veri gölü (data lake), kurumun farklı kaynak sistemlerdeki verisini analiz için merkezî bir yerde toplama ihtiyacından doğar. ERP, CRM, e-ticaret sitesi, mobil uygulama ve operasyonel veritabanları doğrudan raporlama için uygun değildir; analiz yükü bu sistemleri yavaşlatır ve veriler birbirleriyle konuşmaz. Ambar da göl de bu sorunu, veriyi kaynaklardan çekip ayrı bir analitik katmanda saklayarak çözer.

Ayrım, verinin hangi biçimde saklandığı ve ne zaman yapılandırıldığıdır. Veri ambarı veriyi yüklemeden önce temizler, dönüştürür ve belirli bir şemaya oturtur. Veri gölü ise veriyi ham hâliyle, kaynaktan geldiği biçimde depolar ve yapıyı okuma anında, ihtiyaca göre uygular.

Ölçüt ölçüt veri ambarı ve veri gölü

• Şema yaklaşımı: Veri ambarı / yazarken şema (schema-on-write); veri yüklenmeden önce modele uyar. Veri gölü / okurken şema (schema-on-read); yapı sorgu anında tanımlanır.
• Veri türü: Veri ambarı / yapılandırılmış, tablo biçiminde, iş kurallarıyla temizlenmiş veri. Veri gölü / yapılandırılmış, yarı yapılandırılmış (JSON, log) ve yapılandırılmamış (metin, görsel, ses) veri.
• Veri hazırlama: Veri ambarı / genellikle ETL; dönüşüm yüklemeden önce. Veri gölü / genellikle ELT; ham veri önce yüklenir, dönüşüm sonra yapılır.
• Tipik kullanıcı: Veri ambarı / iş analistleri, raporlama ve finans ekipleri, yöneticiler. Veri gölü / veri mühendisleri, veri bilimciler, makine öğrenmesi ekipleri.
• Tipik kullanım: Veri ambarı / yönetim panoları, finansal raporlama, KPI takibi, düzenli iş zekâsı raporları. Veri gölü / keşifsel analiz, model eğitimi, log ve olay analizi, akış verisi işleme.
• Depolama: Veri ambarı / analitik sorgular için optimize edilmiş, işlem gücüyle bağlantılı depolama. Veri gölü / nesne depolama gibi düşük maliyetli, ölçeklenebilir depolama.
• Veri kalitesi ve güven: Veri ambarı / tanımlı modeller ve iş kuralları sayesinde "tek doğru kaynak" olarak kullanılabilir. Veri gölü / yönetişim kurulmazsa aynı verinin farklı kopyaları ve kimsenin güvenmediği tablolar birikir.

Veri ambarı nasıl çalışır?

Veri ambarı projesi, iş sorusundan başlar: hangi raporlar, hangi göstergeler, hangi kırılımlar gerekiyor? Bu sorulara göre boyutsal model kurulur; satış, sipariş, stok gibi olgu (fact) tabloları ile müşteri, ürün, tarih, bölge gibi boyut tabloları tasarlanır. Kaynak sistemlerden çekilen veri dönüştürülür, kodlar eşleştirilir, mükerrer kayıtlar ayıklanır ve modele yüklenir.

Sonuç, iş kullanıcısının SQL ya da iş zekâsı araçlarıyla hızlı ve tutarlı sorgulayabildiği bir yapıdır. "Geçen çeyrekte bölge bazında net satış" gibi bir soruyu her ekip aynı tanımla yanıtlar. Bedeli esneklikte ortaya çıkar: modelde olmayan yeni bir soru geldiğinde ya da yeni bir veri kaynağı eklendiğinde dönüşüm hattının ve modelin güncellenmesi gerekir.

Veri gölü nasıl çalışır?

Veri gölünde öncelik veriyi kaybetmemektir. Uygulama logları, sensör verisi, tıklama akışı, belge ve görseller gibi her tür veri ucuz nesne depolamaya ham hâliyle yazılır. Yaygın bir düzen, veriyi olgunluk katmanlarına ayırmaktır: ham katman, temizlenmiş ve standartlaştırılmış katman, iş amacına göre hazırlanmış katman.

Veri bilimci, ihtiyaç duyduğu veriyi bu katmanlardan okur, Spark ya da SQL motorlarıyla işler, model eğitir. Henüz sorusu belli olmayan veriyi saklayabilmek göllerin en büyük avantajıdır. Risk ise yönetişimsizliktir: katalog, sahiplik, erişim yetkisi ve kalite kontrolü yoksa göl, içinde neyin olduğunu kimsenin bilmediği bir "veri bataklığına" dönüşür.

Bir örnekle ambar ve göl

Örneğin bir perakende zinciri hem yönetim raporlaması hem de kişiselleştirilmiş öneri motoru kurmak istiyor.

Yönetim ekibinin günlük satış, marj ve stok devir hızı panoları veri ambarından beslenir. Mağaza, ürün ve tarih boyutları tanımlıdır; finans ile satış ekibi aynı rakamı görür.

Öneri motoru ise web sitesi tıklama akışına, arama sorgularına, ürün açıklamalarına ve geçmiş sepet verisine ihtiyaç duyar. Bu verinin önemli kısmı yarı yapılandırılmış ve hacimlidir; veri gölünde ham hâliyle tutulur, veri bilimciler özellik çıkarımı ve model eğitimi için kullanır. Modelin ürettiği müşteri segmentleri daha sonra veri ambarına geri yazılarak raporlarda da kullanılabilir. Bu senaryoda mimariler rakip değil, aynı veri platformunun farklı katmanlarıdır.

Hangisi ne zaman seçilir? Lakehouse nerede durur?

Veri ambarı öncelikli olmalı, eğer: • Asıl ihtiyaç tutarlı yönetim raporlaması, finansal kapanış ve KPI takibiyse. • Veri kaynakları ağırlıkla ilişkisel veritabanları ve iş uygulamalarıysa. • Kullanıcıların çoğu SQL ve iş zekâsı araçlarıyla çalışan iş analistleriyse.

Veri gölü öncelikli olmalı, eğer: • Log, sensör, metin, görsel gibi çeşitli ve hacimli veri saklanacaksa. • Makine öğrenmesi ve keşifsel analiz ana kullanım alanıysa. • Henüz kullanım amacı netleşmemiş veriyi düşük maliyetle saklamak isteniyorsa.

Göl evi (lakehouse) yaklaşımı, gölün ucuz ve esnek depolamasının üzerine açık tablo formatlarıyla ambar benzeri işlem güvenilirliği, şema yönetimi ve performans eklemeyi hedefler. Birçok kurum yeni yatırımlarda bu birleşik modeli değerlendirir; ancak raporlama ihtiyacı sade olan bir şirket için klasik bir veri ambarı hâlâ daha yalın bir çözüm olabilir.

Sık yapılan hatalar

• Göl kurup yönetişimi sonraya bırakmak: katalog, veri sahipliği ve erişim politikası olmayan göl hızla güvenilmez hale gelir.
• Ambara her şeyi koymaya çalışmak: kullanılmayan tabloları modellemek dönüşüm hattını ağırlaştırır, bakım maliyetini artırır.
• Kişisel veriyi ham katmanda kontrolsüz saklamak: maskeleme, saklama süresi ve erişim kayıtları KVKK yükümlülükleri açısından baştan tasarlanmalıdır.
• Tanımları ortaklaştırmamak: "aktif müşteri" ya da "net satış" gibi kavramlar farklı ekiplerde farklı hesaplandığında, mimari ne olursa olsun raporlar çelişir.
• Teknolojiyi iş sorusundan önce seçmek: hangi kararların veriyle verileceği belirlenmeden yapılan platform yatırımı atıl kalır.

Mindset programlarında veri ambarı ve veri gölü

Yapay Zeka ve Veri Gölü Mimarisi eğitimi veri gölü mimarisi temelleri, açık tablo formatları, sorgulama motorları, veri yönetişimi ve kataloglama ile performans ve maliyet yönetimini işler. Veri Lakehouse Mimarisi eğitimi veri mimarisinin evrimi, Medallion mimarisi ve lakehouse üzerinde yönetişim ve güvenlik konularına odaklanır.

Mevcut ambarını yenilemek isteyen ekipler için Veri Ambarı Migrasyonu ve Modernizasyonu eğitimi mevcut durum analizi, hedef mimari seçimi, şema ve kod dönüşümü ile veri taşıma adımlarını ele alır. Hangi mimari seçilirse seçilsin gereken kurallar için Veri Yönetişimi ve Veri Kalitesi eğitimi veri kalitesi boyutları, roller ve politika oluşturma modüllerini içerir.