ELT: veriyi önce yükleyip hedefte dönüştürme yaklaşımı

ELT nedir?

ELT, Extract, Load, Transform sözcüklerinin kısaltmasıdır: veri kaynaktan çıkarılır, ham haliyle hedef sisteme yüklenir ve dönüşüm işlemleri veri hedefe ulaştıktan sonra, hedefin kendi işlem gücüyle yapılır. Hedef çoğunlukla bir bulut veri ambarı, veri gölü ya da lakehouse mimarisidir.

Yaklaşımın anahtarı sıralamadadır. Geleneksel ETL'de dönüşüm yüklemeden önce ayrı bir ara sunucuda yapılır. ELT'de ise ham veri önce depolanır, ardından ihtiyaca göre SQL gibi araçlarla biçimlendirilir. Böylece ham veri kaybolmaz ve aynı veriden farklı ekipler farklı dönüşümler üretebilir.

ELT nasıl çalışır?

ELT hattı birbirini izleyen aşamalardan oluşur.

Çıkarma aşamasında veri kaynak sistemlerden, uygulama veritabanlarından, dosyalardan ve dış servislerden alınır. Yükleme aşamasında veri neredeyse hiç değiştirilmeden hedefteki bir ham katmana, çoğunlukla staging ya da ham veri alanı olarak adlandırılan bölgeye yazılır. Dönüşüm aşamasında ise temizleme, tekrar eden kayıtları ayıklama, tablo birleştirme ve iş kurallarını uygulama adımları hedefin içinde çalıştırılır.

Dönüşümler genellikle katmanlı kurulur: ham katman, temizlenmiş katman ve analize hazır iş katmanı. Her katman bir öncekinden türetildiği için hatalı bir dönüşüm bulunduğunda ham veriden yeniden üretmek mümkündür.

Küçük bir örnek

Bir perakendecinin sipariş verisi mağaza sisteminden günlük olarak alınıp ham tablolara yüklenir. Dönüşüm adımı, hedef ortamda çalışan bir SQL sorgusudur:

CREATE TABLE analitik.customer_summary AS SELECT customer_id, SUM(amount) AS total_amount, MAX(order_date) AS last_order FROM raw.orders WHERE status = 'completed' GROUP BY customer_id;

Bu sorgu veri ambarının kendi motorunda çalışır, ayrı bir dönüşüm sunucusuna ihtiyaç duymaz. Yarın iş birimi bir de iade edilen siparişleri görmek isterse, ham tablo zaten durduğu için yeni bir türetilmiş tablo yazmak yeterlidir; kaynaktan veriyi yeniden çekmeye gerek kalmaz.

ELT ile ETL arasındaki fark

Farkı birkaç ölçüt üzerinden görmek kolaylaşır. • Dönüşümün yeri: ETL'de ayrı bir ara katmanda, ELT'de hedef sistemin içinde yapılır. • Ham veri: ETL'de çoğunlukla saklanmaz, yalnızca dönüştürülmüş çıktı yüklenir. ELT'de ham veri korunur. • Esneklik: ELT'de yeni bir analiz sorusu çıktığında dönüşüm yeniden yazılabilir. ETL'de iş kuralı değişince hattın yeniden tasarlanması gerekebilir. • Gizlilik ve düzenleme: ETL, yüklemeden önce kişisel veriyi maskeleme gibi işlemler için doğal bir nokta sunar. ELT'de aynı korumayı hedef sistemin erişim ve maskeleme özellikleriyle sağlamak gerekir.

İkisi birbirinin yerine geçen kesin alternatifler olarak görülmemelidir. Çoğu kurumda bazı hatlar ETL, bazıları ELT mantığıyla çalışır.

ELT ne zaman tercih edilir?

ELT, hedef sistemin büyük hacimleri paralel işleyebildiği bulut veri ambarı ve lakehouse ortamlarında doğal bir seçimdir. Hızlı yükleme gerektiren, ham verinin ileride farklı amaçlarla yeniden işlenmesi beklenen ve analistlerin SQL ile kendi dönüşümlerini yazdığı ekipler için uygundur.

Buna karşılık hedef sistemin işlem gücü sınırlıysa, kişisel veri yüklenmeden önce temizlenmek zorundaysa ya da kaynak sistemin biçimi hedefe doğrudan yazılamayacak kadar farklıysa ETL daha uygun kalabilir.

Dikkat edilmesi gereken bir nokta maliyettir: dönüşümler hedefin işlem kaynağını kullandığı için kontrolsüz yazılan ağır sorgular faturayı büyütebilir. Bu yüzden dönüşümlerin test edilmesi, zamanlanması ve izlenmesi ELT'nin ayrılmaz parçasıdır.

Sık yapılan hatalar

Ham veriyi yükleyip hiç düzen kurmamak veri gölünü karmaşaya dönüştürür: katman, isimlendirme ve sahiplik kuralları baştan konmalıdır. Dönüşüm mantığını belgelemeden dağınık sorgulara bırakmak da ekip değiştiğinde bilgi kaybına yol açar.

Bir diğer hata, yükleme anında kişisel veriyi korumasız bırakmaktır. Erişim yetkileri ve maskeleme politikası, ham katman için de tanımlanmalıdır. Son olarak veri kalitesi testlerini dönüşümden sonraya ertelemek, hatalı veriyi iş raporlarına taşıyabilir.

Mindset programlarında ELT

Veri Mühendisliği Programı, ELT tasarımı ve dönüşüm katmanını ayrı bir modülde işler; veri ambarı, veri gölü ve lakehouse mimarileriyle birlikte düşünür. Veri Mühendisi Programı (Yapay Zeka Odaklı) veri boru hattı tasarımını ETL ve ELT birlikte ele alır, ETL Süreçleri Temelleri ise çıkarma, dönüştürme ve yükleme aşamalarını klasik yaklaşımla anlatır. Power BI Veri Modelleme, dönüşümün raporlama tarafındaki sonucu olan model tasarımına odaklanır.