Veri modelleme uzmanı: verinin yapısını tasarlayan rol

Veri modelleme uzmanı kimdir?

Veri modelleme uzmanı (data modeler), bir kurumun iş bilgisini veritabanında ve analitik sistemlerde nasıl temsil edeceğini tasarlayan kişidir. Müşteri, sipariş, ürün, ödeme gibi iş kavramlarını varlık, nitelik ve ilişki olarak tanımlar; bunları tablolara, anahtarlara ve kısıtlara çevirir. Çıktısı genellikle bir diyagram ve bu diyagramı destekleyen belgeler ile veritabanı şemasıdır.

İyi bir model şunları aynı anda sağlar: verinin doğru ve tutarlı kalması ve sorguların makul sürede, anlaşılır biçimde yapılabilmesi. Kötü model ise aynı bilginin birden çok yerde farklı değerlerle durmasına, raporlarda tutarsız sonuçlara ve yazılımcıların sürekli geçici çözümler üretmesine yol açar. Uzmanın işi bu sorunları tasarım aşamasında önlemektir.

Görev ve sorumluluklar

• İş gereksinimlerini anlamak: İş birimleriyle konuşup hangi bilginin neden tutulacağını, hangi kuralların geçerli olduğunu çıkarmak
• Kavramsal ve mantıksal model: Varlıkları, ilişkileri ve anahtarları iş diliyle tanımlamak, ardından teknik ayrıntıya taşımak
• Fiziksel tasarım: Hedef veritabanına uygun tür, indeks ve bölümleme kararlarını vermek
• Normalizasyon ve denormalizasyon dengesi: Tutarlılık için normalleştirmek, performans gerektiğinde bilinçli sapmak
• Analitik modelleme: Raporlama ve veri ambarı için olgu ve boyut tabloları, yıldız ve kar tanesi şemaları tasarlamak
• Veri kalitesi ve kısıtlar: Bütünlük kuralları, benzersizlik ve geçerlilik denetimlerini modele işlemek
• Şema evrimi: Uygulama değiştikçe modeli geriye uyumlu biçimde güncellemek, değişiklikleri belgelemek
• Belgeleme ve sözlük: Alan adlarını ve anlamlarını tek bir kaynakta toplamak, ekipler arası ortak dil oluşturmak
• Tasarım incelemesi: Geliştiricilerin hazırladığı şemaları değerlendirmek

Örnek senaryo: sipariş sistemi için model

Örneğin bir e-ticaret işletmesi sipariş sistemini yeniden kurmak istiyor olsun. Uzman önce iş birimleriyle konuşur: sipariş nedir, kalemler nasıl tutulur, iade ve kısmi gönderim nasıl yönetilir, fiyat değişikliği eski siparişi etkiler mi?

İş cevaplarından kavramsal model çıkar: müşteri, sipariş, sipariş kalemi, ürün, ödeme, teslimat. İlişkiler netleştirilir; bir sipariş birçok kalem içerir, bir ödeme bir siparişe bağlı olabilir ya da kısmi olabilir. Sonra anahtarlar ve kısıtlar tanımlanır, tekrarlayan bilgiler normalleştirilir. Fiyat konusunda önemli bir karar verilir: sipariş kaleminde satış anındaki fiyat ayrıca saklanır, çünkü ürün fiyatı sonradan değişecektir.

Raporlama tarafında aynı verinin satış analizi için ayrı bir analitik modeli çıkarılır: sipariş kalemi olgu tablosu, tarih, ürün ve müşteri boyutlarıyla. Böylece operasyonel sistem tutarlılığa, analitik sistem hızlı sorguya göre tasarlanmış olur. Son olarak model belgelenir ve geliştirme ekibiyle gözden geçirilir.

Gereken beceriler

İş analizi: Kurallar, istisnalar ve gerçek süreçler sıklıkla belgelerde değil insanların konuşmasında saklıdır. Soru sormak ve dinlemek rolün temelidir.

Veri modelleme teknikleri: Varlık ilişki modellemesi, normalizasyon biçimleri, boyutsal modelleme, zaman ve tarihsellik yönetimi ve olay modelleme.

SQL ve veritabanı bilgisi: Modelin gerçekten çalışabilir ve sorgulanabilir olduğunu doğrulamak için sorgu yazabilmek ve veritabanının davranışını bilmek.

İndeks ve performans farkındalığı: Tasarımın fiziksel sonuçlarını öngörmek.

Analitik araç bilgisi: İş zekâsı araçlarında model kurma ve ilişkileri yönetme; yıldız şema yaklaşımı.

Şema evrimi ve sürümleme: Değişikliklerin tüketicileri nasıl etkilediğini öngörmek, veri sözleşmeleri ile uyumluluk kuralları belirlemek.

İletişim ve belgeleme: Teknik olmayan kişilerle modeli anlaşılır diyagramlarla konuşabilmek.

Tasarım disiplini: Aşırı karmaşıklıktan kaçınmak, isimlendirmede tutarlı olmak, kuralları herkesin okuyabileceği biçimde yazmak.

Yakın rollerden farkı

Veritabanı yöneticisi (DBA): Veritabanının kurulumu, performansı, yedeği ve güvenliğiyle ilgilenir. Veri modelleme uzmanı ise şemanın mantıksal tasarımına odaklanır; küçük ekiplerde bu roller aynı kişide birleşir.

Veri mühendisi: Veri hatlarını ve depolama altyapısını kurar. Modelleme bu işin önemli bir parçasıdır, ancak veri mühendisi aynı zamanda hat kodu, planlama ve altyapıyla uğraşır.

Veri mimarı: Kurumun veri stratejisini, platformlarını ve standartlarını belirler. Veri modelleme uzmanı bu mimarinin içinde belirli alanların modelini oluşturur.

İş analisti: İş gereksinimlerini toplar ve belgeler. Modelleme uzmanı bu gereksinimleri veri yapısına çevirir.

BI/rapor geliştiricisi: Rapor ve panolar üretir. Power BI gibi araçlarda semantik model kuran geliştirici, modelleme becerisini kullanır; ayrı unvan olmayabilir.

Yazılım geliştirici: Uygulama kodunu yazar. Sıklıkla veri modelini de kendisi tasarlar; ayrı uzman olan kurumlarda tasarım incelemesine katılır.

Veri modelleme uzmanı nasıl olunur?

Başlangıç, ilişkisel veritabanı ve SQL temelidir. Tablo, birincil ve yabancı anahtar, birleştirme, indeks gibi kavramlar rahatlıkla kullanılabilmelidir. Ardından normalizasyon ve varlık ilişki diyagramı çizmeyi öğrenmek, küçük gerçek problemler üzerinde çalışmak gelir. Örneğin bir kütüphane, kargo ya da rezervasyon sistemi modellemek iyi alıştırmadır.

Orta aşamada boyutsal modelleme ve yıldız şema, ardından zaman içinde değişen veriyi yönetme, olay modelleme ve şema evrimi konuları yer alır. Bir iş zekâsı aracında gerçek bir veri kümesinden model kurmak, tasarımın rapor performansına etkisini görmek için faydalıdır.

İleri aşamada çoklu sistemler arası uyumluluk, veri sözleşmeleri ve değişim yönetimi öne çıkar. Giriş pozisyonları veri analisti, SQL geliştirici ya da BI geliştirici olabilir. Portföy için, iş gereksinimiyle başlayıp diyagram, DDL betiği ve örnek sorgularla biten bir vaka hazırlayıp gerekçelerinizi yazmanız etkili olur.

Sık yapılan hatalar

• İş kuralını anlamadan tablo çizmek: Model iş gerçeğini yansıtmazsa her şey sonradan yamaya dönüşür.
• Normalizasyonu amaç edinmek ya da hiç yapmamak: Bu uçların hiçbiri sağlıklı değildir; ihtiyaç doğrultusunda denge gerekir.
• Geçmiş bilgisini düşünmemek: Fiyat, adres ve statü gibi değişen veriler için tarihselliğin nasıl tutulacağı baştan belirlenmelidir.
• Taneciği (granularity) belirsiz bırakmak: Olgu tablosunda her satırın neyi temsil ettiği net değilse raporlar yanlış toplanır.
• Anlamsız isimlendirme: Alan adları belirsizse yıllar sonra kimse modeli anlamaz.
• Şema değişikliğini tüketicilere haber vermemek: Rapor ve uygulamalar sessizce bozulur.
• Modeli belgelememek: Tasarım kararlarının gerekçesi kaybolur.

Mindset programlarında nerede çalışılır?

Operasyonel veritabanı tasarımına odaklanan ekipler için Veritabanı Tasarımı ve Normalizasyon eğitimi, kavramsal modelden normalizasyon formlarına, bütünlük kısıtlarından denormalizasyon ödünleşimine ve şema evrimine uzanır. Analitik tarafta çalışanlar için Star Schema ve Snowflake Schema Tasarımı eğitimi, bu şema yapılarının farklarını, performans karşılaştırmasını ve karar kriterlerini ele alır.

Power BI kullanan ekipler Power BI Veri Modelleme eğitiminde yıldız şema, ilişkiler ve model temizliğini çalışabilir. Farklı sistemler ve sürümler arasında veri yapısını yönetmesi gereken ekipler için Veri Modelleme Desenleri ve Şema Evrimi eğitimi, veri sözleşmeleri ve değişim yönetimini de içerir.