Veri Gölü (Data Lake) Nedir ve Nasıl Çalışır?

Veri gölü nedir?

Veri gölü (data lake), yapılandırılmış ve yapılandırılmamış her türlü veriyi, herhangi bir ölçekte ve ham haliyle saklayan merkezi bir depodur. Verinin yapısı depoya girerken önceden tanımlanmaz; yapı, veri okunup analiz edilirken uygulanır.

Bu yaklaşımın amacı, hangi sorunun ileride sorulacağını bilmeden önce veriyi kaybetmemektir. Bir tablo, bir günlük dosyası, bir ses kaydı ve bir PDF aynı depoda yan yana durabilir.

Veri gölü nasıl çalışır?

Çalışma mantığı üç adımda özetlenebilir:

• Toplama: Operasyonel sistemler, mobil uygulamalar, sensörler, sosyal medya akışları ve dosyalar gibi kaynaklardan veri, dönüştürülmeden göle aktarılır.
• Saklama: Veri genellikle ucuz ve ölçeklenebilir bir nesne depolamasında, dosya biçiminde tutulur. Kataloglama ve erişim denetimi bu katmanda kurulur.
• Kullanım: Analistler, veri mühendisleri ve veri bilimciler, ihtiyaç duydukları veriyi okurken yapıyı o anda tanımlar. Panolar, büyük veri işleme, gerçek zamanlı analiz ve makine öğrenmesi aynı veri üzerinde çalışabilir.

Bu düzene sıklıkla okurken şema uygulama denir: veriyi önce şemaya uydurup sonra yüklemek yerine, önce yükleyip gerektiğinde şemaya uydurursunuz.

Veri gölü ile veri ambarı arasındaki fark

Veri ambarı, önceden tasarlanmış bir şemaya göre temizlenmiş ve dönüştürülmüş veriyi tutar. Ağırlıklı olarak ilişkisel, işlemsel sistemlerden gelen veriyi hızlı SQL sorgularıyla raporlamak için kullanılır ve kurumun güvenilir tek doğruluk kaynağı rolünü üstlenir.

Veri gölü ise ilişkisel veriye ek olarak metin, görüntü, ses ve sensör çıktısı gibi ilişkisel olmayan veriyi de kabul eder. Belirli bir rapor için tasarlanmadığından, tam metin arama ve makine öğrenmesi gibi daha geniş kullanımlara açıktır.

Ölçüt: Şema zamanı. Ambar: veri yüklenmeden önce. Göl: veri okunurken. Ölçüt: Veri türü. Ambar: ağırlıklı ilişkisel. Göl: ilişkisel ve ilişkisel olmayan. Ölçüt: Tipik kullanım. Ambar: operasyonel raporlama. Göl: keşif, makine öğrenmesi, geniş analitik.

Kurumların çoğu ikisini birlikte kullanır.

Küçük bir örnek: perakende zinciri

Bir perakende şirketi düşünün. Kasa işlemleri, e-ticaret sitesinin tıklama kayıtları, müşteri hizmetleri çağrılarının ses kayıtları ve mağaza kameralarından çıkarılmış sayım verisi farklı sistemlerde duruyor.

Şirket bunların hepsini bir veri gölüne ham haliyle aktarır. Pazarlama ekibi tıklama kayıtlarıyla kampanya etkisini inceler. Veri bilimci, çağrı kayıtlarını metne çevirip şikâyet konularını sınıflandırır. Finans ekibi ise kasa işlemlerinden temizlenmiş bir özet tabloyu ambara taşır ve yönetim raporlarını oradan üretir.

Aynı ham veri, farklı ekiplerin farklı soruları için yeniden işlenebilir. Bu esneklik, gölün asıl değeridir.

Veri bataklığı riski ve yönetişim

Veri gölünün en bilinen tehlikesi, veri bataklığına (data swamp) dönüşmesidir. İçeriği kimsenin sahiplenmediği, tanımlanmadığı ve katalogsuz bırakıldığı bir depoda veri bulunamaz, bulunsa da güvenilmez.

Bunu önlemek için şu önlemler gerekir:

• Veri kataloğu: Hangi verinin nerede, hangi anlamla durduğunu belgeleyin.
• Sahiplik: Her veri kümesi için sorumlu bir kişi ya da ekip belirleyin.
• Erişim denetimi: Kişisel ve hassas veriyi yetkiye göre ayırın; kişisel verilerin korunması mevzuatını göz önünde bulundurun.
• Kalite kuralları: Ham alan ile güvenilir kullanım alanını ayırın.

Yapay zeka projelerinde veri gölünün neden çoğu zaman beklenen faydayı sağlayamadığı, ilgili blog yazısında strateji düzeyinde ele alınıyor.

Veri gölü nerede kullanılır?

Veri gölü, verinin çeşitli ve hacimli olduğu, kullanım biçiminin önceden net olmadığı durumlarda öne çıkar. Makine öğrenmesi için eğitim verisi biriktirmek, günlük kayıtlarını uzun süre saklamak, nesnelerin interneti verisini toplamak ve farklı kaynakları birleştirerek keşif analizi yapmak tipik kullanımlardır.

Verinin zaten düzenli, sorgu ihtiyacının belli olduğu küçük ölçekli raporlama işlerinde ise tek başına bir veri ambarı çoğu zaman yeterli ve daha sadedir.

Veri gölünü Mindset programlarında nerede çalışırsınız?

Mindset kataloğunda Veritabanı Yönetim Sistemleri ve Uygulamaları programı; veritabanı sistemlerine giriş, ilişkisel veritabanları ve SQL, NoSQL veritabanları ve bulut tabanlı veritabanı çözümleri başlıklarını içerir. Data Science Uzmanlığı Sertifika Programı ise SQL ve veri kaynakları ile veri işleme modüllerini kapsar. Veri gölünün besleyici ve tüketici tarafını bu başlıklarda uygulamalı görebilirsiniz.