Pandas ile Python'da veri analizi adım adım

Python ile veri analizi neden pandas üzerinden yapılır?

Python'da tablo biçimindeki veriyle çalışmanın standart yolu pandas kütüphanesidir. Pandas, satır ve sütunlardan oluşan DataFrame yapısını verir; dosyadan veri okumayı, temizlemeyi, filtrelemeyi, gruplamayı, birleştirmeyi ve grafiğe dökmeyi aynı yerde toplar. E-tabloda elle yaptığınız işlemleri kodla yazdığınızda iş tekrar edilebilir hale gelir: yarın yeni bir dosya geldiğinde aynı adımları yeniden çalıştırırsınız.

E-tabloya göre avantajı, çalışma sayfasının satır sınırını aşan veri setleriyle de çalışabilmesi ve her adımın izlenebilir olmasıdır. Pandas veriyi bellekte işlediği için asıl sınırı bilgisayarın belleği belirler; belleğe sığmayan veride veritabanı ya da dağıtık araçlar devreye girer. Dezavantajı, başlangıçta bir öğrenme eşiği olmasıdır. Bu nedenle iyi bir yöntem, e-tabloda yaptığınız bir analizi pandas'ta yeniden kurmaktır; hedef zaten tanıdık olduğu için araca odaklanmak kolaylaşır.

Adım adım: veri okumadan sonuca

Tipik bir analiz akışı şu adımlardan oluşur: • Ortamı kurmak: Python, bir not defteri ortamı ve pandas • Veriyi okumak: Örneğin bir CSV dosyası için pandas.read_csv işlevi • Veriye bakmak: Sütunları, veri tiplerini ve ilk satırları incelemek • Temizlemek: Eksik, tekrar eden ve tutarsız değerleri düzeltmek • Seçmek ve filtrelemek: İlgili satır ve sütunları ayırmak • Gruplamak ve özetlemek: Kırılım bazında toplam, ortalama, adet • Birleştirmek: Başka bir tablodan bilgi eklemek • Görselleştirmek ve raporlamak

Her adımda veriyi değiştirmeden önce bir kopya ya da ham dosya saklayın. Amaç, analizi baştan sona yeniden çalıştırabilmek ve her sayıyı kaynağına kadar izleyebilmektir. Başka biri not defterinizi açtığında hangi sorunun nasıl yanıtlandığını anlayabilmelidir. Bunun için hücrelerin arasına kısa açıklamalar yazın, değişkenlere anlamlı adlar verin ve ara sonuçları kontrol eden satırlar bırakın.

Veri temizleme: analizin çoğu zaman en uzun süren kısmı

Gerçek veri temiz gelmez. Boş hücreler, aynı müşterinin farklı yazımları, metin olarak kaydedilmiş sayılar ve biçimi karışık tarihler olağandır. Pandas'ta eksik değerleri tespit etmek için isna, silmek için dropna, doldurmak için fillna kullanılır. Hangisinin seçileceği veriye ve sorunun niteliğine bağlıdır. Eksik satırı silmek veri kaybettirir; ortalamayla doldurmak dağılımı değiştirir. Bu kararı gerekçesiyle not etmek, analizinizi savunulabilir kılar.

Tip dönüşümleri de temizliğin parçasıdır: tarih sütununu tarih tipine, kategorik sütunu kategori tipine, sayısal sütunu sayı tipine çevirmek hataları baştan önler. Tekrar eden kayıtlar, aykırı değerler ve yazım farkları ayrıca kontrol edilir. İyi bir alışkanlık, temizlikten önce ve sonra satır sayısını karşılaştırıp ne kadarının değiştiğini görmektir.

Seçme, filtreleme ve koşullu sorgulama

Pandas'ta satır ve sütun seçmenin iki temel yolu vardır: etiket tabanlı seçim için loc, konum tabanlı seçim için iloc. Koşullu filtreleme ise bir koşulu doğru-yanlış serisine çevirip tabloya uygulayarak yapılır. Örneğin bir satış tablosunda belirli bir bölgeye ve belirli bir döneme ait kayıtları ayırabilirsiniz.

Birden fazla koşulu birleştirirken parantez kullanmayı unutmayın; yaygın hatalardan biri işlem önceliği yüzünden beklenmedik sonuç almaktır. Sonucu hemen kontrol edin: filtreden sonra kaç satır kaldı, mantıklı mı. Bir filtrenin sessizce tüm satırları elemesi ya da hiçbirini elememesi, yeni başlayanların sık yaşadığı sorundur.

Gruplama, toplulaştırma ve pivot analizi

Analizin kalbi gruplamadır. DataFrame üzerinde groupby ile veriyi bir ya da birden fazla sütuna göre gruplar, her gruba toplam, ortalama ya da adet gibi bir özet uygularsınız. Örneğin ürün kategorisine göre toplam satışı ve ortalama sipariş tutarını tek adımda çıkarabilirsiniz.

Pivot tablo mantığı e-tablodan tanıdıktır ve pandas'ta pivot_table ile kurulur: satırlara bir boyut, sütunlara başka bir boyut, hücrelere bir özet değeri koyarsınız. Aylara göre bölge karşılaştırması bunun tipik kullanımıdır. Gruplama sonrası sonuç tablosunu sıralamak ve en çok katkı yapan grupları görmek, çoğu iş sorusunun cevabına götürür.

Tabloları birleştirmek ve dış kaynaklarla çalışmak

İş verisi çoğu zaman tek tabloda durmaz: siparişler bir yerde, müşteri bilgisi başka yerde, ürün kataloğu bir üçüncü yerdedir. Pandas'ta iki tabloyu ortak bir anahtar üzerinden birleştirmek için merge, satırları alt alta eklemek için concat kullanılır. Birleştirme türünü (hangi tablodaki satırların korunacağı) bilinçli seçin; yanlış seçim satır kaybına ya da çoğalmasına yol açar.

Birleştirmeden sonra mutlaka satır sayısını kontrol edin. Birebir eşleşme beklerken satır sayısı artıyorsa anahtarda tekrar eden değerler vardır. Dış kaynak olarak dosya, veritabanı sorgusu ya da bir web servisinden gelen veri okunabilir; pandas bu verileri aynı tablo yapısına getirir.

Öğrenme yolu, örnek proje ve sık hatalar

Önerilen yol: Önce Python'un temelleri (değişken, liste, sözlük, döngü, işlev), sonra pandas ile okuma-seçme-temizleme, ardından gruplama ve birleştirme, sonra görselleştirme ve en son küçük bir uçtan uca proje. Örnek proje fikri: bir satış dosyasını okuyup temizlemek, aylık ve bölgesel özet üretmek, en güçlü ve en zayıf ürünleri bulmak ve bulguları bir grafikle özetlemek.

Sık hatalar: • Veriye bakmadan doğrudan analize girişmek • Eksik değerleri gerekçesiz silmek ya da doldurmak • Birleştirme sonrası satır sayısını kontrol etmemek • Her şeyi tek hücrede, yorumsuz yazmak • Sonucu iş sorusuna bağlamadan yalnızca tablo üretmek

Mindset kataloğunda Python ile Veri Analizi (Pandas) programı bulunur; müfredat başlıkları arasında pandas temelleri, veri temizleme ve ön işleme, filtreleme ve koşullu sorgulama, gruplama ve pivot analizi, veri birleştirme ve iş analitiğinde vaka çalışmaları yer alır. Görselleştirme tarafı için Python ile Veri Görselleştirme ve Üretken Tasarım programı da vardır.