Veri Mühendisi Kimdir ve Ne İş Yapar?

Veri mühendisi nedir?

Veri mühendisi, kurumdaki verinin kaynağından kullanıma kadar güvenilir biçimde akmasını sağlayan kişidir. Satış sistemi, web sitesi, mobil uygulama ve sensörler gibi kaynaklarda duran ham veriyi toplar, temizler, dönüştürür ve analiz ekiplerinin kullanabileceği bir depoya taşır. İngilizce karşılığı data engineer'dır.

İşi kısaca şöyle özetleyebiliriz: veri bilimci ve analist veriden anlam çıkarır, veri mühendisi ise o verinin doğru, güncel ve ulaşılabilir olmasını sağlar. Altyapı iyi kurulmadığında en gelişmiş model bile hatalı ya da eski veriyle çalışır. Bu nedenle rol, yazılım mühendisliği disiplini ile veri bilgisini birleştirir.

Rolün ortaya çıkışı verinin hacminin ve kaynak çeşitliliğinin artmasıyla ilişkilidir. Eskiden tek bir veritabanındaki tablolar yeterliyken bugün web, mobil uygulama, dış sistemler ve cihazlardan farklı biçimlerde veri akıyor. Bu çeşitliliği tutarlı hâle getirmek, ayrı bir mühendislik uzmanlığı gerektiriyor.

Görev ve sorumluluklar

Rolün merkezinde veri boru hatları (pipeline) vardır. Bir boru hattı, verinin kaynaktan alınıp dönüştürülerek hedefe yüklenmesini otomatik ve tekrarlanabilir hâle getirir. Günlük sorumluluklar şunlardır:

• Veri boru hatlarını tasarlamak, ETL ya da ELT yaklaşımıyla çalıştırmak ve izlemek
• Veri ambarı ya da veri gölü gibi depolama katmanlarını modellemek
• Büyük hacimli veriyi dağıtık sistemlerle işlemek
• Gerçek zamanlı akan veriyi olay tabanlı mimarilerle yönetmek
• Veri kalitesini ölçmek, hataları yakalamak, yetki ve güvenlik kurallarını uygulamak
• Analist, veri bilimci ve yapay zeka ekiplerinin ihtiyaç duyduğu veri setlerini hazırlamak

Son yıllarda yapay zeka çalışmaları için özellik deposu ve vektör veritabanı gibi altyapıları kurmak da bu rolün alanına girmiştir. Bu nedenle veri mühendisi, yapay zeka projelerinin sessiz ama kritik ortağıdır.

Güvenilirlik, rolün görünmeyen ama en değerli çıktısıdır. Boru hattı bir gün sessizce durduğunda raporlar eski veriyle çalışmaya devam eder ve kimse fark etmez. Bu yüzden veri mühendisi izleme, uyarı ve yeniden çalıştırma mekanizmalarını da tasarlar. Başarılı bir altyapı, çoğu zaman kimsenin ondan bahsetmediği altyapıdır.

Bir iş gününden somut örnekler

Örneğin sabah, bir pazarlama analisti kampanya raporundaki satış rakamlarının sistemdeki rakamlardan farklı çıktığını bildirir. Veri mühendisi önce boru hattının günlüğüne bakar, verinin hangi adımda eksildiğini bulur ve dönüşüm kuralındaki bir hatayı düzeltir. Ardından aynı hatanın tekrarlanmaması için bir veri kalitesi kontrolü ekler.

Öğleden sonra, yeni bir ödeme sistemindeki verinin ambara alınması planlanır. Mühendis kaynağın veri yapısını inceler, yükleme sıklığına karar verir, hassas alanları maskeler ve tabloyu analistlerin kullanabileceği şemaya oturtur. Gün sonunda ise gece çalışan işlerin daha az kaynak harcaması için sorgu performansını inceler. Bu örnek, işin yalnızca kod yazmak olmadığını, aynı zamanda sorun avcılığı ve iş birimleriyle iletişim olduğunu gösterir.

Hangi beceriler gerekir?

Başlangıç noktası SQL'dir. Sorgu yazmak, birleştirme ve gruplama yapmak ve veri modelini okumak her günün parçasıdır. Üzerine bir programlama dili, çoğu kurumda Python ya da benzeri, ve komut satırı ile sürüm kontrolü alışkanlığı eklenir.

Kavramsal tarafta ETL ve ELT mantığı, veri ambarı ve veri gölü farkı, toplu işleme ile akış işleme ayrımı ve veri modelleme gerekir. Araç tarafında bulut veri platformları, dağıtık işleme motorları ve zamanlama araçları öne çıkar; hangi aracın kullanılacağı kuruma göre değiştiği için araç adını ezberlemek yerine altındaki mantığı öğrenmek daha kalıcıdır. Yumuşak beceri olarak ise iş birimlerinin gerçek ihtiyacını sormak ve dokümantasyon yazmak göz ardı edilmemelidir.

Başlangıçta sıkça yapılan hata, araç listesini ezberleyip temeli atlamaktır. Oysa iyi bir SQL bilgisi ve veri modelleme anlayışı, hangi araç olursa olsun işe yarar. Araçlar değişir, dağıtık sistem mantığı, veri kalitesi ve tekrarlanabilirlik ilkeleri ise aynı kalır.

Veri mühendisi nasıl olunur?

Bilgisayar mühendisliği, yazılım, istatistik ve benzeri bölümlerden gelmek avantajdır, ancak veri analistliği ya da yazılım geliştirme deneyimiyle geçiş yapanlar da vardır. Genel bir öğrenme sırası şöyle olabilir:

• İlk aşama: SQL ve ilişkisel veritabanı mantığı
• İkinci aşama: Python ya da benzeri bir dilde veri işleme ve küçük otomasyon
• Üçüncü aşama: ETL süreçleri, küçük bir uçtan uca boru hattı projesi
• Dördüncü aşama: bir bulut veri ambarı platformu ve büyük veri işleme
• Beşinci aşama: veri kalitesi, güvenlik ve yönetişim

Portföy için tek bir kaynaktan ham veriyi alıp temizleyen, ambara yükleyen ve basit bir rapora bağlayan küçük bir proje, teorik başlıklardan daha ikna edicidir. İşverenler genellikle beceri ve proje deneyimine bakar.

Yakın rollerle sınır

Veri analisti geçmiş veriyi inceler ve rapor üretir; veri mühendisi bu analizin dayandığı altyapıyı kurar. Veri bilimci tahmin ve model geliştirir; veri mühendisi modelin ihtiyaç duyduğu veri hattını hazırlar. Yapay zeka mühendisi modeli ürüne dönüştürür; bu konudaki farkları ayrıntılı anlatan bir blog yazısına aşağıdan ulaşabilirsiniz.

Büyük ekiplerde bu sınırlar nettir, küçük ekiplerde ise tek kişi birkaç rolü birlikte üstlenir. İlanlarda unvan aynı olsa da beklentiler değişebilir; bu nedenle ilanın içindeki görev listesine bakmak unvana bakmaktan daha doğru bir sinyaldir.

Mindset programlarında nerede çalışılır?

Veri Mühendisi Programı (Yapay Zeka Odaklı), müfredatında veri mühendisliği temelleri, veri boru hattı tasarımı ve ETL/ELT, gerçek zamanlı veri akışı, büyük ölçekli veri işleme, veri kalitesi ve yönetişim ile vektör veritabanı konularını sıralar. Rolün bütününü görmek isteyenler için ana çıkış noktasıdır.

Parçalı ilerlemek isteyenler SQL ile Programlama Eğitimi, ETL Süreçleri Temelleri ve Snowflake ile Veri Sorgulama programlarını destek olarak kullanabilir. Birincisi sorgu dilinin temelini, ikincisi veri çekme, dönüştürme ve yükleme aşamalarını, üçüncüsü bulut veri ambarı mimarisini ele alır.