Lakehouse nedir? Tek mimaride veri gölü ve ambar

Lakehouse nedir?

Lakehouse (veri lakehouse), veri gölünün ve veri ambarının güçlü yönlerini tek bir mimaride birleştiren veri platformu yaklaşımıdır. Veri, düşük maliyetli nesne depolamasında açık dosya formatlarıyla tutulur; bunun üzerine bir tablo katmanı eklenerek veri ambarlarında beklenen güvenilirlik, şema denetimi ve sorgu performansı sağlanır.

Adı, İngilizce lake (göl) ve warehouse (ambar) sözcüklerinin birleşiminden gelir. Amaç, aynı verinin hem raporlama hem de makine öğrenmesi ve ham veri çalışmaları için tek yerden kullanılabilmesidir.

Neden ortaya çıktı?

Geleneksel yapıda kuruluşlar çoğu zaman iki ayrı sistem işletir. Veri gölü ham, yapısız ve yarı yapısal veriyi ucuza saklar ama tutarlılık ve yönetişim sağlamakta zorlanabilir. Veri ambarı ise düzenli ve hızlı raporlama sunar ama ham veri çeşitliliği ve makine öğrenmesi iş yükleri için sınırlı kalabilir.

İki sistemi birlikte işletmek veri kopyalama, gecikme ve çift bakım yükü getirir. Lakehouse bu ayrımı azaltarak tek bir veri kopyası üzerinde farklı iş yüklerinin çalışmasını hedefler.

Nasıl çalışır? Tablo katmanı ve açık formatlar

Lakehouse'un çekirdeği, nesne depolamadaki dosyaların üzerine oturan açık tablo formatlarıdır. Delta Lake, Apache Iceberg ve Apache Hudi bu alandaki bilinen örneklerdir. Bu formatlar şu yetenekleri ekler: • İşlem güvenliği: eşzamanlı yazma ve okumalarda tutarlı sonuç. • Şema denetimi ve evrimi: veriye uymayan kayıtların reddedilmesi, şemanın kontrollü değişmesi. • Zaman yolculuğu: tablonun önceki bir sürümüne geri dönebilme. • Verimli sorgu: metaverisi sayesinde gereksiz dosyaların taranmaması.

Sorgu motorları bu tabloları okuyup yazar; böylece aynı veriye SQL analistleri de veri bilimciler de erişebilir.

Medallion mimarisi: bronze, silver, gold

Lakehouse'ta veri sıklıkla üç katmanda olgunlaştırılır.

Bronze: kaynaktan gelen ham veri, çoğunlukla olduğu gibi saklanır.

Silver: temizlenmiş, tekrarları giderilmiş, doğrulanmış ve birleştirilmiş veri.

Gold: iş kullanıcıları için hazırlanmış, raporlama ve analize uygun özet ve ölçü tabloları.

Bu katmanlı yapı, hatalı bir dönüşümde ham veriden yeniden üretme imkânı verir ve her katmanın sorumluluğunu netleştirir.

Veri ambarı ve veri gölünden farkı

Depolama: veri ambarı çoğunlukla kendi yönettiği yapılandırılmış depolamayı kullanır; veri gölü ham dosyaları tutar; lakehouse açık formatlı dosyaları tablo katmanıyla yönetir.

Veri türü: ambar ağırlıklı olarak yapılandırılmış veriyle çalışır; göl ve lakehouse yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi birlikte tutabilir.

İş yükü: ambar raporlama için, göl keşif ve ham saklama için güçlüdür; lakehouse ikisini ve makine öğrenmesi çalışmalarını aynı veri üzerinde hedefler.

Yönetişim: göl tek başına yönetişim açısından zayıf kalabilir; lakehouse tablo katmanıyla erişim denetimi ve veri kalitesi kurallarını ekler.

Küçük bir örnek

Örneğin bir perakende şirketi mağaza kasalarından gelen satış olaylarını, e-ticaret tıklama kayıtlarını ve tedarikçi dosyalarını nesne depolamaya yükler. Bronze katmanında bu veriler ham halde durur. Silver katmanında tekrarlı kayıtlar temizlenir, ürün kodları standartlaştırılır. Gold katmanında günlük satış özeti tabloları oluşturulur.

Finans ekibi aynı gold tablolarından SQL ile rapor alırken, veri bilimciler silver katmanından talep tahmin modeli eğitir. Tek veri kopyası, iki ekibin ihtiyacını karşılar.

Mindset programlarında lakehouse

Mindset kataloğundaki Veri Lakehouse Mimarisi programı mimari evrim ve lakehouse kavramı, Delta Lake ile güvenilir veri katmanı, Apache Iceberg ile açık tablo formatı, medallion mimarisi, akış verisi entegrasyonu, sorgu motoru ve performans ile veri yönetişimi ve güvenliği başlıklarını işler. Lakehouse Tablo Formatları Karşılaştırması ve Seçimi programı ise ortak temel, iş yüküne göre karşılaştırma ve ekosistem ile karar konularına odaklanır.