Özellik Ölçekleme: Min-Max Normalizasyon ile Standardizasyon Farkı

Önce terim: hangi normalizasyondan söz ediyoruz?

"Normalizasyon" kelimesi veri alanında birkaç farklı şey için kullanılır ve karışıklığın kaynağı budur. Veritabanı tasarımında normalizasyon, tablolardaki tekrarı azaltmak için veriyi ilişkili tablolara bölmek demektir; bu sayfanın konusu değildir. Makine öğrenmesinde ise normalizasyon, sayısal özellikleri benzer ölçeklere getirme işlerinden biridir.

Makine öğrenmesi içinde bile kelimenin anlamı kaynağa göre değişir. Google'ın makine öğrenmesi kursu normalizasyonu genel bir başlık olarak kullanır ve altında doğrusal ölçekleme, z-skor ölçekleme, logaritmik ölçekleme ve kırpma tekniklerini sayar. scikit-learn ise Normalizer adlı sınıfıyla bambaşka bir işlem yapar: özellikleri değil, her bir örneği, yani her satırı birim uzunluğa ölçekler.

Gündelik kullanımda "normalizasyon mu standardizasyon mu" sorusu çoğu zaman şu anlama gelir: min-max ölçekleme mi, z-skor ölçekleme mi? Bu sayfada da bu anlamda kullanılmıştır.

İki yöntem nasıl hesaplanır?

Min-max normalizasyon, bir özelliğin en küçük değerini çıkarır ve sonucu en büyük ile en küçük değer arasındaki farka böler. Sonuçta özellik, en küçük değerin sıfıra, en büyük değerin bire karşılık geldiği bir aralığa taşınır. scikit-learn'de bu iş MinMaxScaler ile yapılır; istenirse farklı bir hedef aralık da seçilebilir.

Standardizasyon, her değerden özelliğin ortalamasını çıkarır ve sonucu standart sapmaya böler. Ortaya çıkan değerin anlamı nettir: değerin ortalamadan kaç standart sapma uzakta olduğu. Dönüşümden sonra özelliğin ortalaması sıfır, varyansı birdir; ama değerler sabit bir aralığa hapsolmaz. scikit-learn belgeleri, birçok tahmin edicinin özellikler aşağı yukarı standart normal dağılıma benzemediğinde kötü davranabileceğini, bu yüzden standardizasyonun yaygın bir gereklilik olduğunu belirtir. Bu işi StandardScaler sınıfı yapar.

İki yöntem de dağılımın şeklini değiştirmez; yalnız konumunu ve genişliğini değiştirir. Çarpık bir özellik ölçeklemeden sonra da çarpıktır. Dağılımın biçimini düzeltmek gerekiyorsa logaritmik dönüşüm gibi başka araçlar gerekir.

Hangi durumda hangisi?

Google'ın kursu doğrusal ölçekleme için üç koşulu birlikte arar: özelliğin alt ve üst sınırları zaman içinde değişmemeli, aykırı değerler az ya da hiç olmamalı ve değerler aralık boyunca kabaca düzgün dağılmalıdır. Yaş, yüzde ile ifade edilen oranlar ya da piksel yoğunluğu gibi doğal sınırları olan özellikler bu tanıma uyar.

Aynı kurs z-skor ölçeklemeyi, veri normal dağılıma ya da ona benzer bir dağılıma uyduğunda iyi bir seçim olarak tanımlar. Boy, ölçüm hataları ya da birçok küçük etkinin toplamından oluşan büyüklükler buna örnektir.

Verinin çoğu normal dağılsa da uç değerler içeriyorsa kurs z-skor ölçeklemeyi kırpmayla birleştirmeyi önerir; ama bazı aykırı değerlerin önemli olduğunu, kırpmanın dikkatle yapılması gerektiğini de vurgular. scikit-learn belgeleri ise çok sayıda aykırı değer olduğunda ortalama ve varyansa dayalı ölçeklemenin iyi çalışmayacağını, RobustScaler'ın daha dayanıklı merkez ve yayılım tahminleri kullandığını belirtir. Satış tutarları ya da kitap satışları gibi kuvvet yasasına uyan verilerde ise kurs logaritmik ölçeklemeyi önerir.

Seyrek veride ayrı bir kural vardır: scikit-learn belgelerine göre seyrek veriyi merkezlemek seyrekliği bozar; bu tür veri için MaxAbsScaler önerilir.

Hangi modeller ölçeklemeye ihtiyaç duyar?

Ölçeklemenin değeri, modelin özellikler arasındaki büyüklük farkından ne kadar etkilendiğine bağlıdır.

Uzaklık ya da benzerlik hesaplayan yöntemler en duyarlı gruptur. En yakın komşu ve k-ortalamalar gibi yöntemlerde, değerleri büyük olan bir özellik uzaklığı tek başına belirler. Destek vektör makinelerinin RBF çekirdeği ve doğrusal modellerdeki düzenlileştirme cezaları da scikit-learn belgelerine göre özelliklerin sıfır çevresinde merkezlendiğini ya da benzer büyüklükte varyansa sahip olduğunu varsayabilir. Belge, varyansı ötekilerden çok büyük bir özelliğin amaç fonksiyonuna hâkim olup modelin diğer özelliklerden öğrenmesini engelleyebileceğini anlatır.

Gradyan inişiyle eğitilen modellerde, sinir ağları dahil, ölçekleme eğitimin kararlılığını ve hızını etkiler. Google'ın kursu, normalizasyonun modellerin daha hızlı yakınsamasına ve her özellik için uygun ağırlıklar öğrenmesine yardımcı olduğunu belirtir.

Karar ağaçları ve bunlara dayanan rastgele orman ya da gradyan artırma modelleri ise ölçeklemeden pratikte etkilenmez; çünkü bölme kararları değerlerin sırasına bakar, büyüklüğüne bakmaz. Bu modellerde ölçekleme zararsızdır ama genellikle kazanç getirmez.

Doğru sıra: sızıntısız ölçekleme

Ölçeklemede en sık ve en sinsi hata, ölçekleyiciyi tüm veriye uydurup sonra veriyi eğitim ve test olarak bölmektir. Bu durumda test verisinin en küçük, en büyük ya da ortalama değeri eğitim sürecine sızar ve model değerlendirmede olduğundan iyi görünür.

Doğru sıra şöyledir: önce veri eğitim ve test olarak bölünür. Ölçekleyici yalnız eğitim verisine uydurulur, yani ortalama, standart sapma ya da en küçük ve en büyük değerler yalnız eğitim verisinden hesaplanır. Aynı dönüşüm, aynı istatistiklerle test verisine ve daha sonra gerçek kullanımdaki yeni verilere uygulanır. scikit-learn belgeleri StandardScaler'ın tam da bunun için, eğitim kümesinde hesapladığı istatistikleri test kümesine yeniden uygulayabilecek biçimde tasarlandığını ve bu nedenle bir Pipeline'ın ilk adımlarında kullanılmaya uygun olduğunu belirtir.

Google'ın kursu da aynı uyarıyı tahmin tarafından yapar: eğitimde bir özelliği normalize ettiyseniz, tahmin yaparken de aynı özelliği normalize etmeniz gerekir. Çapraz doğrulamada ölçekleyiciyi Pipeline içinde tutmak, her katmanda bu sıranın kendiliğinden korunmasını sağlar.

Mindset programlarında veri hazırlığını nerede çalışırsınız?

Data Science Uzmanlığı Sertifika Programı, Pandas ile veri işlemeden makine öğrenmesi temellerine ve model optimizasyonuna uzanan akışında ölçekleme gibi ön işleme kararlarını modelle birlikte ele alır; veri hazırlığında yapılan küçük hataların model başarısını nasıl yanılttığını görmek isteyen analistler için uygundur.

Veri ön işleme ve özellik mühendisliğine ayrı bir modül olarak odaklanmak isteyenler Makine Öğrenmesi (Uygulamalı) Programı'nı, istatistik temelini güçlendirmek isteyenler Veri Bilimi Sertifika Programı'nı değerlendirebilir.