Veri Bilimi İçin İstatistik: Hangi Konular, Hangi Sırayla?

Veri bilimci neden istatistik bilmeli?

Veri bilimi, veriden karar çıkarma işidir ve karar, verinin ne kadar güvenilir olduğunu bilmeden verilemez. İstatistik, eldeki veri örneğinin tüm gerçeği ne ölçüde temsil ettiğini, bir farkın tesadüf olup olmadığını ve bir tahminin ne kadar belirsiz olduğunu söyler. Kütüphane çağırıp model eğitmek kolaydır, ancak çıkan sonucun anlamlı olup olmadığını istatistik bilgisi olmadan yorumlayamazsınız.

Bu sayfa, istatistiği matematik teorisi olarak değil, veri bilimi işinde kullanılan bir araç kutusu olarak ele alır. Hedef, hangi konuları hangi sırayla ve hangi soruyu cevaplamak için öğreneceğinizi netleştirmektir.

Öğrenme sırası: temelden regresyona

Pratik bir sıra şöyledir:

• Tanımlayıcı istatistik: ortalama, medyan, mod, varyans, standart sapma. Veriyi özetlemenin temel dili.
• Grafikler: histogram, kutu grafiği, saçılım grafiği. Veriyi hesaplamadan önce görmek.
• Aykırı değerler: bir gözlem ne zaman hatalı, ne zaman gerçekten önemlidir?
• Olasılık ve dağılımlar: binom dağılımı, normal dağılım; verinin hangi dağılıma benzediğini anlamak.
• Örneklem dağılımı ve merkezi limit teoremi: neden küçük bir örneklemden büyük kitle hakkında konuşabiliriz?
• Güven aralığı: bir tahminin etrafındaki belirsizlik bandı.
• Hipotez testi: bir fark ya da ilişki tesadüf müdür? t testi, p değeri.
• Korelasyon ve regresyon: iki değişken arasındaki ilişkiyi ölçmek ve tahmin için kullanmak.

Her konuyu, kendi veri setiniz üzerinde Python ya da R ile hesaplayarak öğrenin. Formülü ezberlemek yerine ne sorduğunu anlamak daha kalıcıdır.

Hipotez testi nasıl yapılır?

Hipotez testi, bir iddiayı veriyle sınamanın düzenli yoludur. Önce sıfır hipotezi yazılır: fark yok ya da ilişki yok. Ardından anlamlılık düzeyi seçilir ve veriden bir test istatistiği hesaplanır. Sonuç, sıfır hipotezi doğruyken bu kadar uç bir verinin ne kadar olası olduğunu gösteren p değeridir. P değeri seçilen düzeyin altındaysa sıfır hipotezi reddedilir.

Örnek senaryo: bir e-ticaret sitesi iki farklı sepet sayfası tasarımını karşılaştırıyor. A tasarımında dönüşüm biraz yüksek çıkmış. Test, bu farkın örneklem rastlantısıyla açıklanıp açıklanamayacağına bakar. Sonuç anlamlıysa tasarım değişikliği lehine kanıt vardır. Anlamlı bir fark ile pratik olarak önemli bir farkın aynı şey olmadığını da unutmamak gerekir; çok büyük örneklemlerde çok küçük farklar bile istatistiksel olarak anlamlı çıkabilir.

Korelasyon ve regresyon: ilişkiyi okumak

Korelasyon, iki değişkenin birlikte değişme eğilimini ölçer; nedensellik göstermez. Yaz aylarında hem dondurma satışları hem deniz kazaları artabilir, ancak biri diğerine neden olmaz. Aradaki ortak etken sıcaklıktır. Veri biliminde en sık hata, korelasyonu nedensellik gibi sunmaktır.

Regresyon, bir değişkeni diğerlerinden tahmin etmeye yarayan modeldir. Basit doğrusal regresyonda bağımsız değişkendeki bir birimlik değişimin bağımlı değişkende ortalama ne kadar değişim yarattığı tahmin edilir. Modelin artıklarına bakmak, varsayımların sağlanıp sağlanmadığını anlamanın yoludur: artıklar rastgele dağılmıyorsa model eksik bir şeyi kaçırıyordur. Makine öğrenmesindeki birçok modelin temelinde bu fikirler yatar.

Regresyon sonuçlarını yorumlarken katsayının işaretine, büyüklüğüne ve güven aralığına birlikte bakın. Örneğin reklam harcaması ile satış arasındaki katsayı pozitif ve güven aralığı sıfırı içermiyorsa ilişki tutarlıdır; ancak veri tek bir dönemden geliyorsa sonucu başka dönemlere genellemek risklidir. Modelin kapsamadığı değer aralıklarında tahmin yapmak da sık yapılan bir hatadır.

Sık yapılan istatistik hataları

• Veriye bakmadan model kurmak: ortalama aynı olan iki verinin dağılımı çok farklı olabilir.
• Aykırı değeri sormadan silmek ya da hiç görmemek.
• Korelasyonu nedensellik saymak.
• P değerini kesin doğru ya da yanlış hükmü gibi yorumlamak: bir olasılık ölçüsüdür.
• Çok sayıda test yapıp yalnızca anlamlı çıkanı raporlamak: tesadüfen anlamlı sonuçlar kaçınılmazdır.
• Önyargılı örneklemden genelleme yapmak: örneklem kitleyi temsil etmiyorsa hiçbir yöntem düzeltmez.
• Eğitim verisi ile test verisini karıştırmak: modelin başarısını olduğundan iyi gösterir.

Bu hataların hepsinin ortak çaresi, sonuca varmadan önce veriyi görmek ve varsayımları yazıya dökmektir.

Raporlarken sonuçla birlikte belirsizliği de paylaşın: tek bir sayı yerine aralık ve veri sınırlamalarını yazmak, karar vericinin sonucu doğru ağırlıkta değerlendirmesini sağlar.

Kaynak ve pratik: istatistik nasıl öğrenilir?

Başlangıç düzeyinde tanımlayıcı istatistik ve grafikleri bir tablo programında ya da Python'da kendi verinizle uygulayın. Orta düzeyde dağılımlar, güven aralığı ve hipotez testlerini küçük deneylerle kavrayın: bir zar atıp sonuçları örnekleyerek merkezi limit teoreminin işleyişini görebilirsiniz. İleri düzeyde çok değişkenli regresyon, varsayım kontrolü, Bayesyen yaklaşım, deney tasarımı ve zaman serisi analizi gelir.

Python kullanıyorsanız pandas, SciPy ve statsmodels kütüphaneleri bu konuların çoğunu kapsar. Her konuda gerçek bir soruyla çalışın: bir kampanyanın etkisi var mı, iki şube arasında fark var mı? Soru olmayan alıştırma kalıcı öğrenme sağlamaz.

Bir proje üzerinden çalışmak konuları birbirine bağlar. Örneğin herkese açık bir veri setini seçin, önce tanımlayıcı istatistik ve grafiklerle tanıyın, ardından dağılımlarına bakın, bir hipotez kurun ve sınayın, son olarak bir regresyon modeliyle ilişkiyi tahmin edin. Her adımda bulguları kısa bir metinle açıklayın: hangi varsayımı yaptınız, sonuç neyi gösteriyor, neyi göstermiyor? Sonucu teknik olmayan birine anlatabiliyorsanız konuyu gerçekten kavramışsınız demektir. Bu alışkanlık, iş yerinde bulguları yöneticilere sunarken de en değerli beceridir.

Mindset programlarında nerede çalışılır?

Veri Bilimi için İstatistik Eğitimi müfredatında Tanımlayıcı İstatistikler, Çizelgeler ve Grafikler, Aykırı Değerler ve Binom Dağılımı, Normal Dağılım, Örneklem Dağılımları ve Merkezi Limit Teoremi, Güvenirlik ve Güvenirlik Aralığı, Hipotezlerin Sınanması, T Dağılımı, Korelasyon ve Regresyon ile Temel İstatistik Hataları modülleri yer alır. Python ile Programlama Eğitimi, Veri Bilimi Sertifika Programı ve Makine Öğrenmesi (Uygulamalı) Programı ilişkili başlıklardır.