Veri Bilimci ve Veri Mühendisi: Model Kuran ile Altyapı Kuran

İki rolün kısa tanımı

Veri bilimci, veriden tahmin, sınıflandırma ya da optimizasyon üreten modeller kuran kişidir. Hangi müşteri ayrılacak, hangi işlem dolandırıcılık şüphesi taşıyor, gelecek ay hangi üründen ne kadar satılacak gibi soruları istatistik ve makine öğrenmesi yöntemleriyle yanıtlamaya çalışır; deney tasarlar, modelleri karşılaştırır ve sonuçları iş diline çevirir.

Veri mühendisi ise bu çalışmanın üzerinde durduğu zemini kurar. Verinin kaynak sistemlerden toplanmasını, temizlenmesini, dönüştürülmesini ve veri ambarı, veri gölü ya da lakehouse gibi bir platformda güvenilir ve sorgulanabilir biçimde tutulmasını sağlayan boru hatlarını tasarlar ve işletir. Veri bilimci "bu veriyle ne öğrenebiliriz?" diye sorarken veri mühendisi "bu veri her gün, doğru ve hızlı biçimde nasıl hazır olur?" diye sorar.

Ortak zemin: Python, SQL ve aynı veri

İki rol de aynı veri üzerinde çalışır ve ortak bir teknik temele sahiptir. Python ve SQL iki rolde de günlük araçtır; büyük veri işleme çerçeveleri ve bulut veri platformları da iki tarafın kesiştiği yerlerdir. Veri bilimcinin kurduğu bir modelin kalitesi, büyük ölçüde veri mühendisinin hazırladığı verinin kalitesine bağlıdır.

Modern ekiplerde iki rol arasındaki sınır, özellikle modelin canlıya alınması aşamasında birbirine yaklaşır. Özellik deposu (feature store), model için veri hazırlığı ve izleme gibi konular iki tarafın birlikte sahiplendiği işlerdir. Bu kesişim alanı zamanla MLOps ve makine öğrenmesi mühendisliği gibi ayrı rollerin ortaya çıkmasına da yol açmıştır.

Temel farklar: ölçüt ölçüt

• Ana iş: Veri bilimci model, deney ve analiz üretir. / Veri mühendisi veri boru hattı, veri modeli ve veri platformu üretir.
• Matematik ağırlığı: Veri bilimcide istatistik, olasılık ve makine öğrenmesi teorisi merkezdedir. / Veri mühendisinde veri yapıları, dağıtık sistemler ve performans merkezdedir.
• Çalışma biçimi: Veri bilimcinin işi daha keşifçidir; hipotez kurar, dener, bazı denemeleri bırakır. / Veri mühendisinin işi daha sistematiktir; kurduğu yapı her gün aynı güvenilirlikle çalışmalıdır.
• Başarı ölçütü: Veri bilimci için modelin doğruluğu ve iş sonucuna etkisi. / Veri mühendisi için verinin zamanında, eksiksiz ve tutarlı gelmesi, maliyet ve ölçeklenebilirlik.
• Tipik araçlar: Veri bilimci not defterleri, makine öğrenmesi kütüphaneleri ve deney takip araçlarıyla çalışır. / Veri mühendisi ETL ve ELT araçları, iş akışı orkestrasyonu, akış işleme ve sürüm kontrolüyle çalışır.
• Muhatap: Veri bilimci iş birimleri ve ürün ekipleriyle problem tanımı üzerinde çalışır. / Veri mühendisi yazılım, altyapı ve analitik ekipleriyle veri akışı üzerinde çalışır.

Bir projede iki rol nasıl çalışır?

Örneğin bir telekom şirketi abonelerin hangilerinin aboneliğini iptal edebileceğini önceden tahmin etmek istiyor. Veri mühendisi fatura, kullanım ve müşteri hizmetleri sistemlerinden gelen verileri düzenli olarak bir veri platformunda toplar, abone bazında tutarlı bir tablo oluşturur ve modelin ihtiyaç duyacağı özellikleri her gün güncelleyen bir akış kurar.

Veri bilimci bu tabloyu kullanarak hangi davranışların iptalle ilişkili olduğunu inceler, birkaç modeli karşılaştırır, sonuçları geçmiş verilerle test eder ve pazarlama ekibine hangi abone grubuna öncelik verilmesi gerektiğini gösteren bir yaklaşım önerir. Model canlıya alınırken iki rol yeniden buluşur: mühendis modelin her gün güncel veriyle beslenmesini, veri bilimci ise modelin zaman içinde bozulup bozulmadığının izlenmesini sağlar.

Hangi rol size daha uygun?

Seçim yaparken ilgi alanınızı ve mevcut birikiminizi birlikte düşünün.

• İstatistik, deney tasarımı ve model kurmak ilginizi çekiyorsa, belirsizlikle çalışmaktan rahatsız olmuyorsanız veri bilimine yakınsınız.
• Yazılım geliştirmekten, sistem tasarlamaktan ve güvenilir altyapı kurmaktan keyif alıyorsanız veri mühendisliğine yakınsınız.
• Matematik, istatistik ya da mühendislik eğitimi aldıysanız veri bilimine geçiş için güçlü bir temeliniz vardır.
• Yazılım geliştirici ya da veritabanı yöneticisi olarak çalıştıysanız veri mühendisliğine geçiş için güçlü bir temeliniz vardır.

İki rol de birbirinin temel becerilerini bilmeyi gerektirir. Veri bilimci, verinin nereden ve nasıl geldiğini bilmeden güvenilir model kuramaz; veri mühendisi de modelin neye ihtiyaç duyduğunu anlamadan doğru veri tasarımı yapamaz.

Sık yapılan hatalar

Bu iki rol arasında karar verirken ya da ekip kurarken sık görülen hatalar şunlardır:

• Veri altyapısı hazır olmadan veri bilimci işe almak: veri bilimci zamanını veri toplama ve temizlemeye harcamak zorunda kalır, asıl işine geçemez.
• Veri bilimini yalnız model kurmak sanmak: problemi doğru tanımlamak, sonucu ölçmek ve iş birimine anlatmak en az model kadar önemlidir.
• Veri mühendisliğini "veri taşıma işi" diye küçümsemek: veri kalitesi, güvenlik, maliyet ve ölçek kararları şirketin tüm veri kullanımını etkiler.
• Unvana göre karar vermek: şirketler bu unvanları farklı kapsamlarla kullanır; iş ilanındaki görev listesi daha doğru bilgi verir.

Yeni başlayanlar için ortak tavsiye, iki rolün kesişimindeki Python ve SQL becerisini sağlam kurmak ve ardından ilgi alanına göre derinleşmektir.

Mindset programlarında veri bilimi ve veri mühendisliği

Veri bilimi tarafında Veri Bilimci Programı (Yapay Zeka Odaklı); İstatistiksel Temeller ve Veri Analizi, Makine Öğrenmesi Algoritmaları, Derin Öğrenmede Pratik Uygulamalar, Büyük Dil Modelleri ile Veri Bilimi ve Veri Bilimi İletişimi ve Etki Ölçümü modüllerini içerir. Data Science Bootcamp ise Python'a giriş, veri yapıları, fonksiyonlar, dosyalarla çalışma ve veri edinimi gibi Python temelleriyle başlar.

Veri mühendisliği tarafında Veri Mühendisi Programı (Yapay Zeka Odaklı); Veri Boru Hattı Tasarımı ve ETL/ELT, Gerçek Zamanlı Veri Akışı ve Event-Driven Mimari, Yapay Zeka için Özellik Deposu ve Veri Platformu, Spark ile büyük ölçekli veri işleme ile Veri Kalitesi, Yönetişim ve Güvenlik modüllerini kapsar.