Doğrusal Regresyon mu Lojistik Regresyon mu? Hedef Değişkene Göre Seçim
İki model de girdilerin ağırlıklı toplamıyla başlar; fark, bu toplamın neye dönüştürüldüğündedir. Doğrusal regresyon onu doğrudan sayısal tahmin olarak kullanır, lojistik regresyon ise lojistik fonksiyondan geçirip bir olayın olasılığına çevirir.
Bir bakışta
- Seçimi hedef değişkenin türü belirler. Tahmin edilen şey bir miktar ise doğrusal, bir sınıf ya da olay ise lojistik regresyon kullanılır.
- Lojistik regresyon adına rağmen bir sınıflandırma modelidir. scikit-learn belgeleri bunu açıkça vurgular: model, sınıfların olasılığını lojistik fonksiyonla tahmin eder.
- Katsayılar iki modelde farklı okunur. Doğrusal modelde katsayı hedefteki değişimi, lojistik modelde log-odds üzerindeki değişimi gösterir.
- Değerlendirme ölçütleri de ayrışır. Doğrusal modelde hata büyüklüğüne, lojistik modelde sınıflandırma başarısına ve olasılık kalitesine bakılır.
Ortak çekirdek: ağırlıklı toplam
Doğrusal ve lojistik regresyon aynı aileden gelir. İkisi de her girdi değişkenine bir katsayı verir, değişkenleri bu katsayılarla çarpıp toplar ve bir sabit terim ekler. Model eğitimi, bu katsayıların veriden öğrenilmesidir. Bu ortak yapı sayesinde iki model de hızlı eğitilir, az veriyle çalışabilir ve katsayıları üzerinden yorumlanabilir.
Fark, ağırlıklı toplamın ne yapıldığında başlar. Doğrusal regresyonda bu toplam doğrudan tahmindir: bir dairenin fiyatı, bir mağazanın haftalık satışı, bir teslimatın süresi. Lojistik regresyonda ise toplam lojistik fonksiyondan geçirilir ve bir olayın gerçekleşme olasılığına dönüştürülür: müşterinin aboneliğini iptal etme olasılığı, bir işlemin sahte olma olasılığı.
scikit-learn belgeleri bu noktayı açıkça yazar: lojistik regresyon adına rağmen, makine öğrenmesi terminolojisinde regresyon için değil sınıflandırma için kullanılan doğrusal bir modeldir. Literatürde logit regresyon ya da log-doğrusal sınıflandırıcı adlarıyla da anılır.
Skordan karara: lojistik regresyonun katmanları
Lojistik regresyonun çıktısı birbirine bağlı katmanlar hâlinde okunur. İlk katman doğrusal skordur: girdilerin katsayılarla ağırlıklandırılmış toplamı. Bu skor eksi sonsuzdan artı sonsuza kadar herhangi bir değer alabilir; kendi başına bir olasılık değildir.
İkinci katmanda skor lojistik fonksiyondan geçer. S biçimli bu fonksiyon büyük pozitif skorları bire, büyük negatif skorları sıfıra yaklaştırır; sonuç her zaman geçerli bir olasılıktır. scikit-learn'ün LogisticRegression sınıfında bu olasılık predict_proba yöntemiyle alınır.
Üçüncü katmanda olasılık bir karar eşiğiyle sınıfa çevrilir. Eşik, olasılığın yarıyı geçmesi gibi varsayılan bir değerde bırakılmak zorunda değildir; yanlış alarmın ve kaçırılan vakanın maliyetine göre seçilmelidir. Sahte işlem tespitinde kaçırılan vaka pahalıysa eşik düşürülür, müşteriyi gereksiz rahatsız etmek pahalıysa yükseltilir.
Doğrusal regresyonda bu katmanların yalnız ilki vardır. Model sürekli bir değer tahmin ettiği için ne olasılık dönüşümüne ne de eşiğe ihtiyaç duyar.
Lojistik regresyon doğrusal skoru olasılığa, olasılığı karara çevirir
- Doğrusal skorGirdilerin katsayılarla ağırlıklı toplamı; her değeri alabilir.
- Lojistik fonksiyonSkor S biçimli fonksiyonla sıfır ile bir arasına sıkıştırılır.
- OlasılıkOlayın gerçekleşme olasılığı; predict_proba ile alınır.
- Eşik ve sınıfHata maliyetine göre seçilen eşik olasılığı karara çevirir.
Ölçüt ölçüt iki model
- Ölçüt: Hedef değişken. Doğrusal regresyon: sürekli sayısal değer; fiyat, süre, miktar. / Lojistik regresyon: kategorik sonuç; evet ya da hayır, birden fazla sınıf.
- Ölçüt: Çıktı. Doğrusal regresyon: sınırsız bir sayısal tahmin. / Lojistik regresyon: her sınıf için olasılık.
- Ölçüt: Eğitimde en aza indirilen. Doğrusal regresyon: sıradan en küçük kareler yönteminde, gözlenen ve tahmin edilen değerler arasındaki farkların karelerinin toplamı. / Lojistik regresyon: olasılık tahminlerinin gerçek sınıflardan sapmasını ölçen log kaybı.
- Ölçüt: Katsayı yorumu. Doğrusal regresyon: diğer değişkenler sabitken girdideki bir birimlik artışın hedefte yarattığı ortalama değişim. / Lojistik regresyon: aynı artışın log-odds üzerindeki etkisi; katsayının üsteli alınınca odds oranı elde edilir.
- Ölçüt: Değerlendirme. Doğrusal regresyon: ortalama mutlak hata, kök ortalama kare hata, R kare. / Lojistik regresyon: karışıklık matrisi, kesinlik ve duyarlılık, ROC eğrisi altındaki alan, log kaybı.
- Ölçüt: Düzenlileştirme. Doğrusal regresyon: sıradan en küçük kareler düzenlileştirme içermez; gerekirse ridge ya da lasso kullanılır. / Lojistik regresyon: scikit-learn'de düzenlileştirme varsayılan olarak uygulanır.
Son satır, istatistik paketinden gelenleri şaşırtabilir. scikit-learn belgeleri, varsayılan düzenlileştirmenin makine öğrenmesinde yaygın ama istatistikte yaygın olmayan bir tercih olduğunu not eder. Katsayıları istatistiksel çıkarım için yorumlayacaksanız bu ayarı bilinçli seçmeniz gerekir.
Aynı veri, iki farklı soru
Bir e-ticaret şirketinin müşteri verisini düşünelim: son dönemdeki sipariş sıklığı, sepet tutarı ortalaması, iade oranı, son girişten bu yana geçen gün sayısı.
Pazarlama ekibi "bu müşteri önümüzdeki çeyrekte ne kadar harcar?" diye sorarsa hedef sürekli bir değerdir ve doğrusal regresyon kurulur. Katsayılar, örneğin sipariş sıklığındaki bir birimlik artışın beklenen harcamayı ortalamada ne kadar değiştirdiğini anlatır. Model ortalama mutlak hata ya da kök ortalama kare hata ile değerlendirilir.
Müşteri hizmetleri ekibi "bu müşteri bizi bırakacak mı?" diye sorarsa hedef ikili bir olaydır ve lojistik regresyon kurulur. Model her müşteri için bir bırakma olasılığı üretir. Ekip, arama kapasitesine göre bir eşik seçer ve yalnız eşiğin üzerindeki müşterileri arar. Katsayının üsteli alınarak, örneğin iade oranındaki artışın bırakma odds'unu hangi oranda büyüttüğü yöneticilere açıklanır.
İki soru aynı tabloyla yanıtlanır ama hedef değiştiği için model, kayıp fonksiyonu, değerlendirme ölçütü ve sonuçların sunuluş biçimi tamamen değişir.
Sık yapılan hatalar
- İkili bir hedefe doğrusal regresyon uygulamak. Model sıfırın altında ya da birin üzerinde tahminler üretebilir; bu değerler olasılık olarak yorumlanamaz.
- Lojistik regresyonun katsayısını doğrusal katsayı gibi okumak. Katsayı olasılıktaki değişimi değil, log-odds'taki değişimi gösterir; olasılık üzerindeki etki, başlangıç olasılığına göre farklıdır.
- Karar eşiğini sorgulamadan bırakmak. Dengesiz sınıflarda varsayılan eşik, azınlık sınıfını neredeyse hiç yakalamayan bir model üretebilir.
- Sınıflandırma modelini yalnız doğrulukla değerlendirmek. Nadir olaylarda her şeye "hayır" diyen bir model bile yüksek doğruluk gösterir; kesinlik, duyarlılık ve olasılık kalitesine birlikte bakılmalıdır.
- Güçlü ilişkili değişkenleri aynı modele koyup katsayıları yorumlamak. scikit-learn belgeleri, çoklu doğrusal bağlantı durumunda en küçük kareler tahminlerinin gözlenen hedefteki rastgele hatalara karşı çok duyarlı hâle geldiğini belirtir.
- Değişkenleri ölçeklemeden düzenlileştirilmiş model kurmak. Düzenlileştirme cezası, ölçeği büyük değişkenleri farklı etkiler.
Mindset programlarında regresyon modellerini nerede çalışırsınız?
Veri Bilimi Sertifika Programı, denetimli öğrenme ve model değerlendirme bölümünde regresyon ve sınıflandırma modellerini aynı veri akışında kurmayı ve doğru ölçütlerle değerlendirmeyi ele alır; tahmin ve sınıflandırma sorularını birlikte çalışan analistler için uygundur.
Katsayıların istatistiksel yorumunu sağlamlaştırmak isteyenler Veri Bilimi için İstatistik Eğitimi'ndeki korelasyon ve regresyon konularıyla, uygulamayı derinleştirmek isteyenler Makine Öğrenmesi (Uygulamalı) Programı'nın regresyon ve sınıflandırma modülleriyle devam edebilir.
İlgili Mindset programı
Veri Bilimi Sertifika Programı
Sık sorulan sorular
Lojistik regresyon için değişkenleri ölçeklemek gerekir mi?
Katsayıların kendisi ölçekten bağımsız olarak doğru tahmin edilebilir ama düzenlileştirme kullanıldığında ölçek önem kazanır: ceza, büyük ölçekli değişkenlerin katsayılarını farklı etkiler. scikit-learn'de düzenlileştirme varsayılan olarak açık olduğu için değişkenleri standartlaştırmak iyi bir alışkanlıktır. Ölçekleme ayrıca bazı çözücülerin daha kararlı ve hızlı yakınsamasına yardım eder.
Lojistik regresyon ikiden fazla sınıf için kullanılabilir mi?
Evet. İkili model, çok sınıflı lojistik regresyon olarak da bilinen multinomial biçime genişletilir; her sınıf için bir olasılık üretilir ve olasılıkların toplamı bire eşittir. scikit-learn belgeleri, multinomial kaybı en aza indirmenin, her sınıfı diğerlerine karşı ayrı modelleyen yaklaşıma göre genellikle daha iyi kalibre edilmiş sonuçlar vermesinin beklendiğini belirtir.
Lojistik regresyonun ürettiği olasılıklara güvenilebilir mi?
Çoğu durumda makul ölçüde güvenilir olasılıklar üretir ama bu garanti değildir. Güçlü düzenlileştirme, dengesiz sınıflar ya da eğitim verisinden farklı yeni veri, olasılıkları sistematik olarak kaydırabilir. Olasılıkları doğrudan bir iş kararında, örneğin beklenen kayıp hesabında kullanacaksanız, tahmin edilen olasılıklarla gerçekleşen oranları gruplar hâlinde karşılaştıran bir kalibrasyon kontrolü yapın.
Doğrusal regresyonda hedef değişken sayı ama aralığı sınırlıysa ne yapılır?
Oran ya da yüzde gibi belirli bir aralıkta kalması gereken hedeflerde doğrusal regresyon aralık dışına taşan tahminler üretebilir. Bu durumda hedefe uygun bir dönüşüm uygulamak ya da bu tür hedefler için tasarlanmış genelleştirilmiş doğrusal modelleri kullanmak gerekir. Hedef aslında bir olayın olup olmadığını gösteriyorsa, soruyu sınıflandırma olarak yeniden kurmak ve lojistik regresyon kullanmak daha doğrudur.
İki model de doğrusal ise doğrusal olmayan ilişkiler nasıl yakalanır?
İki modelde de doğrusallık katsayılarda, yani parametrelerdedir; girdilerin kendisi dönüştürülebilir. Bir değişkenin karesini, logaritmasını ya da iki değişkenin çarpımını yeni özellik olarak eklemek, eğrisel ilişkileri ve etkileşimleri modele taşır. Bu dönüşümler de yetmiyorsa ağaç tabanlı yöntemler gibi doğrusal olmayan modellere geçmek gerekir.
İlgili rehberler
İlgili eğitimler
Kategori: Veri Analitiği ve İş Zekası