NiFi ile veri akışı otomasyonu: kavramlar, kurulum adımları, sık hatalar

Apache NiFi ile veri akışı otomasyonu nedir?

Apache NiFi, verinin bir sistemden başka bir sisteme akışını görsel bir tuval üzerinde tasarlamaya yarayan açık kaynaklı bir veri akışı aracıdır. Kod yazmak yerine işlemcileri tuvale yerleştirir, aralarını bağlantılarla birleştirir ve her işlemcinin ayarını arayüzden yaparsınız. Akış çalıştığında NiFi veriyi alır, gerekirse dönüştürür, yönlendirir ve hedefe teslim eder.

Veri akışı otomasyonu, bu taşıma işinin elle ya da dağınık betiklerle değil, izlenebilir ve yeniden çalıştırılabilir bir yapıyla yürütülmesidir. Örneğin bir mağaza zincirinde şube sistemlerinin bıraktığı dosyaların her gece toplanıp temizlenmesi, bir mesaj kuyruğundan gelen olayların veri ambarına yazılması ya da bir uygulama programlama arayüzünden periyodik çekilen kayıtların bir veri gölünde saklanması tipik NiFi işleridir. Aracın değeri, kaynak ve hedef çeşitliliğinin yüksek olduğu, gecikme ve hatanın beklendiği ortamlarda ortaya çıkar.

NiFi'nin temel kavramları: FlowFile, işlemci, bağlantı

Resmî belgelerde NiFi'nin yapı taşları şöyle tanımlanır: FlowFile, sistemde hareket eden veri birimidir ve anahtar-değer çiftlerinden oluşan özniteliklerle, sıfır ya da daha fazla bayttan oluşan içerikten meydana gelir. İşlemci (Processor), asıl işi yapan bileşendir: veriyi alır, yönlendirir, dönüştürür ya da başka bir sisteme iletir. Bağlantı (Connection) ise işlemciler arasında kuyruk görevi görür; böylece işlemciler farklı hızlarda çalışabilir.

Bunlara ek olarak şu kavramlar günlük kullanımda sık karşınıza çıkar: • Process Group: işlemci ve bağlantı kümesini tek bir bileşen gibi yeniden kullanılabilir hale getirir. • Controller Service: bir veritabanı bağlantısı gibi paylaşılan ayarları birden çok işlemciye sunar. • Data Provenance: her FlowFile'a olanları otomatik kaydeden ve indeksleyen soy ağacı.

Öznitelik ile içerik ayrımını erken kavramak gerekir: yönlendirme kararları çoğunlukla öznitelikler üzerinden, dönüşümler ise içerik üzerinden yapılır. Bu ayrımı oturtmadan kurulan akışlar hem yavaş hem de okunması zor olur.

Adım adım: bir veri akışı nasıl kurulur?

Başlangıç noktası her zaman iş sorusudur: hangi veri, nereden, hangi biçimde gelecek; nereye, hangi biçimde gitmeli? Şu sıra akışların büyük çoğunluğunda işe yarar: • Kaynağı belirleyin: dosya klasörü, mesaj kuyruğu, veritabanı ya da bir arayüz çağrısı. Kaynağa uygun alım işlemcisini tuvale koyun. • Veriyi tanıyın: biçimi (CSV, JSON, Avro gibi) ve şemayı belirleyin. Mümkün olduğunda kayıt tabanlı okuyucu ve yazıcı servisleriyle satır satır işleyin; böylece biçim değişikliği tek yerde yönetilir. • Yönlendirin ve dönüştürün: öznitelik değerine göre farklı kollara ayırın, alan adlarını eşleyin, geçersiz kayıtları ayrı bir kola alın. • Hedefe teslim edin: veritabanına yazma, nesne depolamaya bırakma ya da başka bir kuyruğa yayımlama. • Her işlemcinin başarı ve hata çıkışlarını bağlayın; bağlanmamış çıkış bırakmayın.

Örneğin bir lojistik firmasında araç takip cihazlarının gönderdiği JSON mesajlarını kuyruktan alan bir akış düşünün. Koordinatı geçersiz kayıtlar inceleme koluna ayrılır, kalanlar bir veritabanı tablosuna yazılır. Aynı akışın bir kolu da günlük özet için bir dosya hedefine gider. Akış küçükken bile başarı, geçersiz ve hata kollarının hiçbiri atlanmamalıdır.

Geri basınç, hata yolları ve dayanıklılık

Gerçek ortamda hedef sistem yavaşlar, ağ kopar, bozuk kayıt gelir. NiFi bunun için bağlantılara sınır koymanıza izin verir: Back Pressure, bir bağlantıda kuyruklanan veri sınırına ulaşıldığında yukarıdaki işi yavaşlatır. Böylece hedef tıkandığında kaynak tarafı kontrolsüzce şişmez. Belgeler ayrıca kuyrukta belirli bir süreyi aşan verinin atılmasını (pressure release) ve kuyruğun hangi sırayla FlowFile vereceğini belirleyen öncelik kurallarını tanımlar.

Dayanıklılık tasarımında şu sorulara yanıt aranır: • Hedef geçici olarak yanıt vermezse akış yeniden denesin mi, yoksa veriyi bir bekleme kuyruğuna mı alsın? • Dönüşümü başarısız kayıtlar kaybolmadan, sonradan incelenebilecek bir yere düşüyor mu? • Uygulama yeniden başlarsa yarım kalan veri ne olur? NiFi etkin FlowFile durumunu varsayılan olarak kalıcı bir yazma öncesi günlükte (FlowFile Repository) tutar; yine de akışın aynı veriyi yinelenerek işlemeye karşı dayanıklı olup olmadığı tasarımcının sorumluluğundadır.

İyi bir hata yolu, hatayı gizlemez; hata nedenini öznitelik olarak taşır ve ayrı bir kola bırakır.

İzlenebilirlik, güvenlik ve yönetişim

NiFi'nin ayırt edici yanı, Data Provenance ile her FlowFile'ın ne zaman alındığını, nasıl değiştiğini ve nereye gittiğini kaydetmesidir. Belgeler bunu uyum ve sorun giderme için kullanılan bir özellik olarak anlatır. Pratikte bir bir kayıt sorgulandığında, o kaydın akışta hangi duraklardan geçtiği tek bir ekrandan izlenebilir.

Üretim kullanımında şu konular da akışın tasarımına dahildir: • Kimin hangi akışı görüp değiştirebileceğini yetkilendirmek. • İstemci ve sunucu iletişimini şifrelemek, parolaları akış tanımına açık metin yazmak yerine hassas değer olarak saklamak. • Geliştirme, test ve üretim ortamları arasında değişen adres ve kimlik bilgilerini akış kopyalarına gömmeden parametre olarak ayırmak. • Akış tanımlarını sürüm kontrolüne alarak değişikliğin kimden geldiğini ve nasıl geri alınacağını bilmek.

Bu konular ihmal edilince akış çalışır ama yönetilemez hale gelir: kimse neyin neden değiştiğini bilmez.

Sık yapılan hatalar

NiFi'de tuval hızla büyür ve düzensizleşir. En sık görülen sorunlar şunlardır: • Tüm akışı tek bir düzlemde kurmak. Bunun yerine mantıksal parçaları Process Group içine alın, adlandırın ve giriş-çıkış noktalarını belirleyin. • Her küçük iş için ayrı bir işlemci zinciri yazmak. Kayıt tabanlı işlemcilerle çok sayıda satırı tek adımda işlemek hem hızlı hem bakımı kolaydır. • Hata çıkışlarını sonlandırmak ya da bağlamamak. Sessizce kaybolan veri, en zor fark edilen sorundur. • Kuyruk sınırlarını varsayılanda bırakıp hedef yavaşladığında kaynağı boğmak. • Akışı sadece mutlu yolla denemek. Bozuk dosya, boş alan, beklenmeyen karakter kodlaması ve zaman aşımı mutlaka test edilmelidir. • Dönüşüm mantığını işlemci ayarlarına gömüp belgelememek; bir yıl sonra kimse kuralın nedenini hatırlamaz.

Bu hatalar araç bilgisinden çok akış tasarımı disiplininden kaynaklanır; NiFi'yi öğrenirken önce tasarım sorularına alışmak gerekir.

Öğrenme yolu: başlangıçtan ileri seviyeye

Başlangıçta kurumsal bir kurulumu beklemeyin; yerel bir örnek üzerinde küçük bir akış yazmak yeterlidir. Önce bir klasörden dosya okuyup başka bir klasöre yazan akışı kurun, ardından içeriğe bakarak yönlendirin. Sonra bir kayıt biçimini (örneğin CSV'den JSON'a) dönüştürün ve bir veritabanına yazın.

Sonraki aşamada hata davranışına geçin: hedefi bilerek durdurup geri basıncın nasıl oluştuğunu gözleyin, bozuk bir dosya gönderip hata kolunun çalıştığını doğrulayın. Ardından Process Group ile modüler tasarım, parametreleştirme ve sürümleme gelir. En son ölçekleme, küme çalışması, güvenlik ve izleme konularına girilir; belgelere göre küme düzeninde bir koordinatör ve bir ana düğüm seçilir.

Bu yol boyunca Kafka gibi mesajlaşma sistemleri, bir veritabanı ve temel SQL bilgisi yardımcı olur. NiFi sıklıkla veri mühendisliği hattının alım ve taşıma katmanında çalıştığı için komşu konularla birlikte öğrenmek verimlidir.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Apache NiFi ile Veri Akış Otomasyonu programı, modül başlıklarına göre NiFi mimarisi ve temel kavramlarla başlar; veri alımı ve kaynak entegrasyonu, yönlendirme, dönüşüm ve kayıt işleme, dayanıklılık, geri basınç ve hata yolları, izlenebilirlik, güvenlik ve yönetişim konularına ilerler. Son modül sürümleme, ölçekleme ve bir bitirme projesini kapsar. Yukarıda anlatılan adımların hemen hepsi bu modül sırasında karşılık bulur.