EDA ile veri setini tanımak: keşifsel analizin uygulama sırası

Keşifsel veri analizi nedir ve ne zaman gerekir?

Keşifsel veri analizi (EDA), elinizdeki veri setini herhangi bir model kurmadan, rapor hazırlamadan ya da hipotez test etmeden önce tanıma çalışmasıdır. Amaç hızlı bir cevap üretmek değil, verinin neye benzediğini anlamaktır: hangi sütun ne anlama geliyor, değerler nasıl dağılıyor, nerede boşluk var, hangi kayıtlar şüpheli görünüyor, değişkenler birbiriyle nasıl ilişkili.

EDA, yeni bir veri kaynağı ile karşılaştığınız her durumda gerekir. Bir müşteri tablosunu ilk kez açtığınızda, başka bir ekipten gelen bir dışa aktarımı devraldığınızda, bir makine öğrenmesi modeli için girdi hazırlamadan önce ya da bir yönetim raporunun rakamlarına güvenmeden önce ilk iş budur. Çoğu analiz hatası modelleme aşamasında değil, veriyi yeterince tanımadan başlanan analizde doğar. Tutarsız bir tarih formatı, aynı müşterinin farklı yazımları ya da test kayıtlarının canlı veriye karışması gibi sorunlar EDA sırasında yakalanır; yakalanmazsa sonuçların içine sessizce yerleşir.

Başlamadan önce: soru, veri sözlüğü ve beklenti

EDA'ya doğrudan kod yazarak başlamak cazip gelir, ancak önce kısa bir hazırlık işi yapılır. Bu veri hangi iş sorusuna hizmet edecek? Her satır neyi temsil ediyor: bir sipariş mi, bir müşteri mi, bir gün mü? Veri nereden ve hangi sıklıkla geliyor? Bu sorulara verilen cevaplar, sonraki bütün kontrollerin ölçüsünü belirler.

Mümkünse bir veri sözlüğü isteyin ya da kendiniz çıkarın. Her sütun için ad, anlam, veri tipi, birim ve beklenen değer aralığı yazılır. Ardından küçük beklentiler kurun: satış tutarı negatif olmamalı, bitiş tarihi başlangıçtan önce gelmemeli, müşteri numarası tekil olmalı. EDA'nın büyük kısmı bu beklentilerle gerçek veriyi karşılaştırmaktan ibarettir. Beklentiniz yoksa tuhaf bir değeri tuhaf olarak tanıyamazsınız.

Adım adım EDA akışı

Uygulamada işleyen sıra şöyledir:

• Yapıya bakın: satır ve sütun sayısı, her sütunun veri tipi, bellekte kapladığı yer. Python'da pandas ile bu bilgi birkaç temel çağrıyla alınır. Sayı gibi görünen bir sütunun metin olarak okunması ilk uyarı işaretidir.
• Eksik değerleri haritalayın: hangi sütunda ne kadar boşluk var ve bu boşluklar rastgele mi, belirli bir kaynağa ya da döneme mi bağlı? Boşluğun nedeni, nasıl dolduracağınızdan daha önemlidir.
• Tekrarları arayın: tamamen aynı satırlar ve anahtar sütunda tekrar eden kayıtlar.
• Tek değişkenli özetleri çıkarın: sayısal sütunlarda ortalama, ortanca, standart sapma, en küçük ve en büyük değer; kategorik sütunlarda her kategorinin sıklığı. Ortalama ile ortancanın birbirinden çok ayrılması çarpık bir dağılıma işaret eder.
• Dağılımları çizin: histogram ve kutu grafiği ile uç değerleri, yığılmaları ve beklenmedik tepeleri görün.
• İlişkilere bakın: sayısal değişken çiftleri için saçılım grafiği ve korelasyon, kategori ile sayı arasında gruplara göre özet, zaman içinde eğilim için çizgi grafik.
• Bulguları kaydedin: gördüğünüz her sorunu ve alacağınız her kararı bir not defterinde sebebiyle yazın.

Örnek senaryo: sipariş verisinde ilk bakış

Örneğin bir e-ticaret ekibinden sipariş tablosunu devraldınız ve iade oranının neden arttığını araştırmanız isteniyor. Önce satırın bir sipariş kalemi mi yoksa tüm sipariş mi olduğunu netleştirirsiniz; aksi halde toplamlar mükerrer sayılır. Ardından sipariş tarihi sütununun gerçekten tarih tipinde olup olmadığına, tutar sütununda negatif ya da boş değerlerin bulunup bulunmadığına bakarsınız.

Dağılım grafiğinde birkaç çok yüksek tutarlı sipariş görürsünüz. Bunlar hata mı, yoksa kurumsal alımlar mı? Bunu veriye bakarak değil, ilgili ekibe sorarak öğrenirsiniz; EDA'nın sonucu çoğu zaman bir veri çıkarımı değil, bir soru listesidir. Sonra iade durumunu ürün kategorisine, kanala ve aya göre kırarsınız. Belirli bir kanalda ve belirli bir dönemde yoğunlaşan iade, asıl analiz için hipotezinizi daraltır. Henüz hiçbir model kurmadınız, ama hangi sütunların güvenilir olduğunu ve nereye bakılacağını biliyorsunuz.

Araçlar ve görselleştirme seçimi

EDA için en yaygın ortam Python'da pandas ile Jupyter not defterleridir; grafikler için matplotlib, seaborn ya da plotly gibi kütüphaneler kullanılır. Veri hacmi küçük ve ekip Excel ağırlıklıysa pivot tablolar ve koşullu biçimlendirme de ilk keşif için yeterlidir. Büyük tablolarda SQL ile gruplama ve sayım sorguları, veriyi belleğe çekmeden önce özet çıkarmanın en pratik yoludur. BI araçları (Power BI, Tableau gibi) etkileşimli süzme ile hızlı keşif sağlar.

Grafik seçimi sorunuza bağlıdır:

• Tek sayısal değişkenin dağılımı için histogram ya da kutu grafiği.
• Sayısal değişkenler arası ilişki için saçılım grafiği.
• Kategoriler arası karşılaştırma için çubuk grafik.
• Zaman içindeki değişim için çizgi grafik.
• Çok sayıda sayısal sütunun ilişkisi için korelasyon ısı haritası.

Pasta grafik ve gösterişli efektler keşif aşamasında nadiren işe yarar; okunabilirliği düşürür.

Uç değerler, eksik veri ve korelasyon yorumu

Uç değer gördüğünüzde ilk refleks onu silmek olmamalı. Önce kaynağını sorgulayın: giriş hatası mı, ölçüm arızası mı, gerçek ama nadir bir olay mı? Hata ise düzeltilir ya da işaretlenir; gerçek olay ise analiz sonucunu en çok etkileyecek parça olabilir, saklanmaması gerekir. Eksik değerlerde de aynı mantık geçerlidir: boşluk bilgi taşıyor olabilir. Örneğin bir formda telefon alanının boş olması, müşterinin vermek istememesi anlamına gelebilir; bunu ortalama ile doldurmak bu bilgiyi yok eder.

Korelasyon konusunda dikkat gerekir. Yüksek korelasyon nedensellik değildir; bu değişkenler başka bir etkenden birlikte etkileniyor olabilir. Korelasyon katsayısı yalnızca doğrusal ilişkiyi ölçer, eğrisel bir ilişkiyi kaçırabilir; bu yüzden katsayıya bakmadan önce saçılım grafiğine bakın. Ayrıca alt gruplara ayrıldığında ilişkinin yön değiştirdiği durumlar (Simpson paradoksu) gerçek analizlerde görülür; bu yüzden toplam düzeyde bulunan bir ilişkiyi segment bazında da kontrol edin.

Sık yapılan hatalar ve nasıl önlenir

En sık hata, EDA'yı atlayıp doğrudan modele ya da rapora geçmektir. Bir başka hata, yalnızca özet istatistiklere güvenmektir: farklı dağılımlar aynı ortalama ve standart sapmaya sahip olabilir, ancak grafikte tamamen farklı görünür. Bir diğeri, temizlik kararlarını belgelememektir; birkaç hafta sonra hangi satırın neden silindiğini kimse hatırlamaz ve sonuçlar yeniden üretilemez. Son olarak, aradığınızı bulana kadar bakmaktır: yeterince çok grafik çizen herkes bir yerde rastlantısal bir örüntü bulur. EDA hipotez üretir, kanıtlamaz; bulduğunuz örüntüyü sonradan ayrı bir veriyle ya da uygun bir testle doğrulamak gerekir.

Önlem olarak EDA'yı tekrar çalıştırılabilir bir not defterinde yürütün, her kararın yanına gerekçesini yazın, ham veriyi asla üzerine yazmayın ve bulguları paydaşlarla kısa bir veri kalitesi notu halinde paylaşın.

Öğrenme yolu ve Mindset programlarında nerede çalışılır?

Başlangıç düzeyinde sırayla şunlar öğrenilir: tablo mantığı ve temel istatistik (ortalama, ortanca, dağılım), ardından pandas ile veri okuma, süzme ve gruplama, sonra görselleştirme. İleri düzeyde çarpıklık ve dönüşümler, eksik veri mekanizmaları, çok değişkenli keşif ve otomatik profil raporları gelir.

Mindset kataloğunda Python ile Veri Analizi (Pandas) programının modülleri bu akışın uygulamasına denk gelir: Veri Temizleme ve Ön İşleme Teknikleri, Filtreleme, Seçme ve Koşullu Sorgulama, Gruplama, Toplulaştırma ve Pivot Analizi ile Vaka Çalışmaları ve İş Analitiğinde Pandas. Veri Analisti Sertifika Programı ise SQL ile Veri Sorgulama, Temel İstatistik ve Analitik, Veri Görselleştirme ve BI Araçları ve Python ile Veri Analizi modüllerini tek yolda toplar. Veri, satış, operasyon ya da finans ekiplerinde çalışan analistler ve rapor hazırlayan kurumsal ekipler için uygundur.