İstatistik mi Makine Öğrenmesi mi? Çıkarım ile Tahmin Arasındaki Çizgi

Ortak zemin: veriden öğrenmek

İstatistik ve makine öğrenmesi aynı ham maddeyle çalışır: veri. İkisi de gözlemlerden genel bir örüntü çıkarmaya, belirsizliği hesaba katmaya ve elde edilen modeli yeni durumlara uygulamaya çalışır. Doğrusal ve lojistik regresyon gibi yöntemler hem istatistik ders kitaplarında hem makine öğrenmesi kütüphanelerinde yer alır; bu yüzden iki alanın sınırı keskin bir duvar değil, geniş bir geçiş bölgesidir.

Fark, büyük ölçüde sorulan sorudan doğar. İstatistikçi tipik olarak "Bu değişken sonucu etkiliyor mu, etkisi ne kadar ve bu sonuca ne kadar güvenebilirim?" diye sorar. Makine öğrenmesi uygulayıcısı ise "Yeni gelen bir gözlem için sonucu ne kadar isabetli tahmin edebilirim?" sorusuna odaklanır. Leo Breiman bu ayrımı veriyi üreten mekanizmayı modellemeye çalışan veri modelleme kültürü ile mekanizmayı bilinmez kabul edip algoritmik modellere yaslanan algoritmik modelleme kültürü olarak adlandırmıştır.

Ölçüt ölçüt temel farklar

• Temel amaç: İstatistik / değişkenler arasındaki ilişkiyi açıklamak, etkinin büyüklüğünü ve belirsizliğini tahmin etmek, hipotez sınamak. Makine öğrenmesi / görülmemiş veride isabetli tahmin ya da sınıflandırma yapmak.
• Model varsayımları: İstatistik / dağılım, bağımsızlık ve doğrusallık gibi varsayımlar açıkça yazılır ve kontrol edilir. Makine öğrenmesi / esnek algoritmalar daha az varsayımla çalışır; varsayımlar yerine performans ölçülür.
• Doğrulama: İstatistik / güven aralıkları, p değerleri, artık analizi ve model uyum ölçüleri. Makine öğrenmesi / eğitim ve test ayrımı, çapraz doğrulama, ayrılmış veri setinde hata ölçümü.
• Yorumlanabilirlik: İstatistik / katsayıların anlamı merkezdedir; sonuç bir yöneticiye ya da hakeme açıklanabilir olmalıdır. Makine öğrenmesi / topluluk yöntemleri ve sinir ağları gibi karmaşık modeller kabul edilir; açıklama gerekirse sonradan açıklanabilirlik teknikleri eklenir.
• Veri boyutu: İstatistik / küçük ve orta ölçekli, dikkatle toplanmış örneklemlerle güçlüdür; örneklem tasarımı önemlidir. Makine öğrenmesi / çok sayıda gözlem ve değişkenden beslenir; görüntü, metin ve ses gibi yapılandırılmamış veriyle de çalışır.
• Nedensellik: İstatistik / deney tasarımı ve nedensel çıkarım yöntemleri bu alanın parçasıdır. Makine öğrenmesi / standart tahmin modelleri korelasyon yakalar, tek başına neden sonuç kanıtlamaz.
• Tipik çıktı: İstatistik / rapor, etki büyüklüğü, karar için kanıt. Makine öğrenmesi / bir sisteme gömülen, sürekli tahmin üreten model.

Aynı veri, iki farklı soru: örnek senaryo

Örneğin bir e-ticaret şirketi müşteri kayıtlarını, sipariş geçmişini ve kampanya etkileşimlerini topladı. Pazarlama direktörü iki ayrı soru soruyor.

Birinci soru: "Ücretsiz kargo kampanyası müşterilerin tekrar satın alma olasılığını gerçekten artırdı mı?" Bu bir istatistik sorusudur. Analist, kampanyaya rastgele atanmış grup ile kontrol grubunu karşılaştıran bir A/B testi tasarlar, uygun hipotez testini seçer, etkinin büyüklüğünü güven aralığıyla raporlar ve sonucun tesadüf olma ihtimalini değerlendirir.

İkinci soru: "Önümüzdeki dönemde hangi müşteriler alışverişi bırakacak?" Bu bir makine öğrenmesi sorusudur. Veri bilimci geçmiş davranışlardan özellikler türetir, gradyan artırma gibi bir topluluk yöntemini eğitir, çapraz doğrulamayla performansı ölçer ve modeli her gün güncellenen bir risk skoru üretecek şekilde sisteme bağlar.

İki çalışmada da regresyon, olasılık ve örneklem kavramları kullanılır; ama birincisi bir kararın gerekçesini, ikincisi operasyonel bir tahmini üretir.

Hangi durumda hangisi?

İstatistiksel yaklaşım şu durumlarda öne çıkar: • Bir müdahalenin, ilacın, kampanyanın ya da süreç değişikliğinin etkisini kanıtlamak gerektiğinde • Veri az ve pahalıysa, örneğin klinik çalışma, anket ya da kalite kontrol örneklemesi • Sonucun düzenleyiciye, hakeme ya da üst yönetime gerekçesiyle açıklanması gerektiğinde • Deney tasarımı, örneklem büyüklüğü ve kalite kontrol limitleri belirlenirken

Makine öğrenmesi şu durumlarda öne çıkar: • Çok sayıda gözlem ve değişken varsa ve hedef isabetli tahminse • Görüntü, metin, ses gibi yapılandırılmamış veriyle çalışılıyorsa • Tahmin bir ürüne ya da otomatik karar sistemine gömülecekse, örneğin öneri motoru veya dolandırıcılık tespiti • Değişkenler arasındaki ilişki karmaşık ve doğrusal değilse

Karar verirken sorulacak ilk soru şudur: Sonuçta bir "neden" açıklaması mı, yoksa doğru bir "ne olacak" tahmini mi gerekiyor?

Birlikte kullanım ve sık yapılan hatalar

Sağlam bir makine öğrenmesi projesi istatistik bilgisine dayanır. Veri keşfinde tanımlayıcı istatistikler ve dağılımlar incelenir, model karşılaştırmasında farkın anlamlı olup olmadığı test edilir, üretimdeki modelin canlı etkisi yine bir A/B testiyle ölçülür. Tersinden, istatistikçiler de yüksek boyutlu veride düzenlileştirme ve çapraz doğrulama gibi makine öğrenmesi kökenli teknikleri kullanır.

Sık yapılan hatalar: • Tahmin başarısı yüksek bir modelin katsayılarını nedensel etki gibi yorumlamak • Test verisini model seçiminde kullanıp performansı olduğundan iyi göstermek, yani veri sızıntısı • Küçük bir örneklemde karmaşık model kurup aşırı öğrenmeye düşmek • İstatistiksel anlamlılığı iş açısından önemli etkiyle karıştırmak • Dengesiz sınıflarda yalnız doğruluk oranına bakıp azınlık sınıfını gözden kaçırmak

Kariyer ve öğrenme yolu açısından fark

İstatistik temelli roller, örneğin istatistikçi, biyoistatistikçi, araştırma analisti veya kalite mühendisi, deney tasarımı, çıkarım ve raporlama becerilerini öne çıkarır. Araç olarak R, Python, SPSS ya da Minitab gibi yazılımlar kullanılır. Makine öğrenmesi rolleri, örneğin veri bilimci ve makine öğrenmesi mühendisi, buna ek olarak programlama, özellik mühendisliği, model dağıtımı ve izleme becerileri ister.

Öğrenme sırası açısından istatistik temeli önce gelir: tanımlayıcı istatistikler, olasılık dağılımları, örneklem dağılımı, güven aralığı, hipotez testi ve regresyon. Bu temel olmadan makine öğrenmesi metriklerini yorumlamak ve modelin neden yanıldığını anlamak zorlaşır.

Mindset programlarında iki disiplin

Veri Bilimi için İstatistik Eğitimi tanımlayıcı istatistikler, normal dağılım, örneklem dağılımları ve merkezi limit teoremi, güven aralığı, hipotez sınaması, t dağılımı, korelasyon ve regresyon modüllerinden oluşur. Çıkarıma daha derin girmek isteyenler için İstatistiksel Modelleme eğitimi çoklu ve lojistik regresyon, varyans analizi ve deneysel tasarım, model seçimi ve doğrulama konularını işler.

Makine Öğrenmesi (Uygulamalı) Programı ise veri ön işleme ve özellik mühendisliği, denetimli öğrenmede regresyon ve sınıflandırma, topluluk yöntemleri, model doğrulama ve hiperparametre optimizasyonu, denetimsiz öğrenme ve modeli üretime taşıma modülleriyle tahmin tarafını kapsar.