Veri boru hattı: verinin kaynaktan hedefe otomatik taşınma ve dönüşüm zinciri

Veri boru hattı nedir?

Veri boru hattı (data pipeline), verinin bir ya da birden fazla kaynaktan alınıp gerekli dönüşümlerden geçirilerek bir hedefe (veri ambarı, veri gölü, analiz aracı, başka bir uygulama) otomatik olarak taşınmasını sağlayan ardışık işlem zinciridir. Hat, belirli bir zamanlamayla ya da olay gelince çalışır ve insan müdahalesi olmadan tekrar edilebilir.

Hattın amacı, ham ve dağınık veriyi analiz ya da uygulama için güvenilir, tutarlı ve zamanında hazır hale getirmektir. Manuel olarak dosya indirip tablo birleştirmek bir kez işe yarar; düzenli ve ölçeklenir bir iş için hat gerekir.

Bir hattın aşamaları

Hat tasarımı ortama göre değişse de çoğu hat aşağıdaki aşamaları içerir:

• Kaynak: Veritabanları, uygulama kayıtları, dosyalar, harici servisler ve sensörler.
• Alım (ingestion): Verinin toplu olarak ya da akış halinde sisteme alınması.
• Dönüşüm: Temizleme, tür düzeltme, birleştirme, zenginleştirme ve iş kurallarının uygulanması.
• Depolama: Dönüşmüş verinin ambar ya da göl gibi hedefe yazılması.
• Sunum: Raporlama araçları, makine öğrenmesi modelleri ya da uygulamaların veriyi tüketmesi.
• Orkestrasyon ve izleme: Adımların sırayla çalıştırılması, hataların yakalanması, sürecin gözlenmesi.

Toplu ve akış hatları

Toplu (batch) hatlarda veri belirli aralıklarla, örneğin gecelik ya da saatlik yüklenir. Rapor ve analiz için çoğu zaman yeterli ve işletmesi daha kolaydır. Akış (streaming) hatlarında ise veri olay oluştuğu anda işlenir; dolandırıcılık tespiti, canlı panolar ve anlık öneriler gibi düşük gecikme gereken kullanımlarda tercih edilir.

Akış hatları daha karmaşıktır: sıralama, geç gelen veri ve tekrarlı mesaj gibi sorunlarla başa çıkılması gerekir. Birçok kurum bu türleri birlikte işletir.

Küçük bir örnek

Örneğin bir perakendeci her gece mağaza satış kayıtlarını analiz için hazırlamak istesin. Hat, gece belirli bir saatte satış sistemi veritabanından o günün kayıtlarını alır, ürün ve mağaza tablolarıyla eşleştirir, hatalı satırları (eksik ürün kodu gibi) ayırır ve temiz sonucu veri ambarına yazar. Sabah yöneticiler güncel satış panosunu görür.

Hat bir gece çökerse sistem uyarı verir. Sorun giderildikten sonra hat aynı güne ait yüklemeyi yeniden çalıştırır; sonuç çiftlenmez, çünkü hat tekrar çalıştırılabilir (idempotent) tasarlanmıştır.

ETL ve ELT ile ilişkisi

ETL (çıkar, dönüştür, yükle) ve ELT (çıkar, yükle, dönüştür), veri boru hattının belirli türleridir. Fark, dönüşümün hedefe yüklenmeden önce mi sonra mı yapıldığıdır. ELT, güçlü bulut ambarlarının dönüşümü kendi içinde yapabilmesiyle yaygınlaşmıştır.

Veri boru hattı ise daha geniş bir kavramdır: yalnızca ETL değil, veriyi uygulamalar arasında taşıyan akış, kopyalama ya da makine öğrenmesi besleme hatlarını da kapsar. Orkestrasyon araçları hattı yönetir, ancak hattın kendisi değildir.

Güvenilir hat için ilkeler

• Tekrar çalıştırılabilirlik: Aynı yükleme yeniden çalışınca çıktıyı çoğaltmamalıdır.
• İzleme ve uyarı: Hattın sağlığı, gecikmesi ve veri hacmi ölçülür; beklenmeyen düşüş ya da gecikme için uyarı kurulur.
• Hizmet seviyesi: Verinin ne zamana kadar hazır olacağı gibi beklentiler ölçülebilir hedef olarak tanımlanır.
• Dokümantasyon ve sahiplik: Her hattın sahibi, kaynağı, hedefi ve kuralları kayıtlıdır; kod inceleme ile değişiklikler denetlenir.
• Veri kalitesi kontrolleri: Boş değer, tür uyumsuzluğu, beklenmedik aralık gibi durumlar hat içinde yakalanır.

Bu ilkeler uygulanmadığında hattın sessizce yanlış veri üretmesi, hiç çalışmamasından daha zararlı olabilir.

Mindset programlarında nerede karşınıza çıkar?

Veri Boru Hattı Dokümantasyonu ve Kod İnceleme eğitimi, veri hattı dokümantasyon standardı, kod inceleme pratiği ve kontrol listesi ile sahiplik, katalog ve sürdürülebilirlik modüllerini içerir. Veri Boru Hattı İzleme ve SLA Yönetimi eğitimi hat sağlığı göstergeleri, uyarı tasarımı ve olay yönetimi, SLA, SLO ve hata bütçesi ile gösterge tablosu ve iyileştirme modüllerinden oluşur. Idempotent ve Yeniden Çalıştırılabilir Pipeline Tasarımı eğitimi yazma stratejileri, hata kurtarma ve backfill konularını işler.