ETL Nedir? Extract, Transform, Load Sürecinin Açıklaması

ETL nedir?

ETL, "extract, transform, load" ifadesinin kısaltmasıdır: veriyi kaynak sistemlerden çıkarma, dönüştürme ve hedef bir sisteme yükleme sürecidir. Hedef çoğunlukla bir veri ambarıdır.

Amaç, farklı sistemlerde farklı biçimlerde duran verileri tek bir yerde, tutarlı ve analize hazır hale getirmektir. Raporlama ve iş zekası çalışmalarının güvenilir olması çoğu zaman düzgün kurulmuş ETL süreçlerine bağlıdır.

ETL'in üç adımı

Çıkarma (extract): Veri kaynaklarından okunur. Kaynak bir sipariş veritabanı, bir CRM, bir tablo dosyası ya da bir dış hizmetin arayüzü olabilir. Bu adımda kaynak sistemi yormamak için genellikle yalnızca yeni ya da değişen kayıtlar alınır.

Dönüştürme (transform): Ham veri temizlenir ve ortak bir biçime getirilir. Tipik işlemler: • Eksik ve hatalı değerleri düzeltmek ya da ayıklamak • Tarih, para birimi ve ölçü birimlerini standartlaştırmak • Mükerrer kayıtları birleştirmek • Farklı tabloları ilişkilendirmek ve türetilmiş alanlar hesaplamak

Yükleme (load): Dönüştürülmüş veri hedef sisteme yazılır. Yükleme tüm veriyi baştan yazabilir ya da yalnızca değişiklikleri ekleyebilir.

Küçük bir örnek

Bir perakende şirketi mağaza satışlarını bir sistemde, e-ticaret siparişlerini başka bir sistemde tutuyor. Yönetim tüm satışları ürün ve şehir bazında tek raporda görmek istiyor.

ETL süreci her gece iki sistemden yeni satış satırlarını çeker. Ürün kodları iki sistemde farklı yazıldığı için bir eşleştirme tablosuyla ortak koda çevrilir, tarihler aynı biçime getirilir, iptal edilen siparişler ayıklanır. Sonuç veri ambarındaki tek bir satış tablosuna yüklenir ve rapor araçları bu tabloyu okur.

ETL ile ELT farkı

ELT'de sıralama değişir: veri önce ham haliyle hedef sisteme yüklenir, dönüştürme hedefin içinde yapılır. Bulut tabanlı veri ambarları ve veri gölleri güçlü işlem kapasitesi sunduğu için bu yaklaşım yaygınlaşmıştır.

ETL'de dönüştürme ayrı bir işlem katmanında yapılır; hedefe yalnızca temizlenmiş veri girer. Bu, hassas verinin yüklemeden önce maskelenmesi gerektiğinde ya da hedef sistemin esnekliği sınırlı olduğunda avantajdır. ELT ise ham veriyi saklayıp sonradan farklı biçimlerde yeniden işleme esnekliği verir. Hangisinin seçileceği veri hacmi, yönetişim kuralları ve ekibin yetkinliğine göre belirlenir.

Veri ambarı ve veri gölü ile ilişkisi

Veri ambarı düzenli, şemalı ve raporlamaya hazır veriyi tutar; ETL bu ambarı besleyen klasik hattır. Veri gölü ise ham ve yapısı farklı verileri olduğu gibi saklar; burada dönüştürme çoğunlukla sonradan, ihtiyaç doğduğunda yapılır.

Kısacası ETL bir depolama türü değil, verinin bir yerden başka bir yere taşınırken işlendiği süreçtir. Aynı süreç ambara da göle de veri taşıyabilir.

ETL'de sık yapılan hatalar

• Veri kalitesi kurallarını yazmadan yüklemek; hatalı veri sessizce raporlara girer.
• Hata ve gecikme izlemesi kurmamak; gece çalışan bir iş başarısız olduğunda sabah kimse fark etmez.
• Kaynak sistemdeki bir sütun değiştiğinde süreç kırılsın diye bırakmak; şema değişikliğini yöneten bir süreç gerekir.
• Dönüştürme mantığını belgelemeden tek kişinin kodunda bırakmak.
• Her seferinde tüm veriyi yeniden yüklemek; hacim büyüdükçe süre ve maliyet artar.

İyi bir ETL hattı yeniden çalıştırılabilir olmalı: aynı işi ikinci kez çalıştırmak veriyi bozmamalı.

ETL'i nerede öğrenebilirsiniz?

ETL; SQL, veri modelleme ve raporlama bilgisinin birleştiği bir alandır. Mindset'in SQL ile Programlama Eğitimi sorgular, birleştirmeler ve toplama konularını işler. Veritabanı Yönetim Sistemleri ve Uygulamaları programında veri modelleme ve tasarım modülü bulunur. Uygulamalı Power BI programında ise "Power BI ile Veri Yığını Entegrasyonu" ve veri modelleme başlıkları yer alır.