Hiyerarşik Kümeleme ile K-means Farkı: Ağaç mı, Sabit Sayıda Merkez mi?

Ortak zemin: etiket olmadan benzerleri gruplamak

Hiyerarşik kümeleme ve k-means aynı soruya yanıt arar: elimde hiçbir etiket yokken hangi gözlemler birbirine benziyor? İkisi de denetimsiz öğrenme yöntemidir, ikisi de gözlemler arasındaki uzaklığa dayanır ve ikisi de değişkenlerin ölçeğine duyarlıdır. Bu yüzden iki yöntemde de veri hazırlığı aynıdır: sayısal değişkenler ölçeklenir, aykırı değerler incelenir, çok boyutlu veride gerekirse önce boyut indirgenir. scikit-learn belgeleri, çok yüksek boyutlu uzayda Öklid uzaklıklarının şiştiğini ve k-means öncesinde temel bileşenler analizinin bu sorunu hafifletip hesabı hızlandırabileceğini belirtir.

Fark, grupların nasıl kurulduğundadır. K-means veriyi düz bir bölümlemeye ayırır: her gözlem tam olarak bir kümeye aittir ve kümeler arasında bir üst-alt ilişkisi yoktur. Hiyerarşik kümeleme ise iç içe kümelerden oluşan bir ağaç üretir; hangi düzeyde kesildiğine göre aynı veriden az sayıda büyük ya da çok sayıda küçük küme elde edilir.

İki yöntem nasıl çalışır?

K-means önce belirlenen sayıda merkez seçer, her gözlemi en yakın merkeze atar, sonra her merkezi kendi kümesinin ortalamasına taşır ve bu iki adımı merkezler yerinden oynamayana kadar tekrarlar. Amaç, küme içi kareler toplamını, yani eylemsizliği küçültmektir. Algoritma her zaman bir sonuca yakınsar, ancak bu sonuç yerel bir en iyi olabilir ve başlangıç merkezlerine çok bağlıdır. Bu yüzden hesap farklı başlangıçlarla birkaç kez yapılır ve k-means++ başlatması kullanılır.

Birleştirici hiyerarşik kümeleme ters yönden başlar: her gözlem kendi kümesidir. Her adımda birbirine en yakın iki küme birleştirilir ve tüm gözlemler tek bir kümede toplanana kadar devam edilir. "En yakın" sözcüğünün anlamını bağlantı ölçütü belirler: • Ward bağlantısı, birleşmeden sonra küme içi kareler toplamındaki artışı en küçük tutar; amacı k-means'e benzer ve en düzenli küme büyüklüklerini verir. • Tam bağlantı, iki kümenin en uzak gözlemleri arasındaki uzaklığı ölçü alır. • Ortalama bağlantı, iki kümenin tüm gözlem çiftleri arasındaki uzaklıkların ortalamasını kullanır; Öklid dışı uzaklıklarla çalışmak gerektiğinde iyi bir seçenektir. • Tekli bağlantı, en yakın iki gözleme bakar; zincirleme kümeler bulabilir ama gürültüye en dayanıksız seçenektir.

Sonuç bir dendrogramdır. Ağacın dikey ekseni birleşme uzaklığını gösterir; ağacı belirli bir yükseklikten yatay kestiğinizde altta kalan dallar kümeleriniz olur. SciPy'de bu iş linkage ile ağacı kurup fcluster ile düz kümelere çevirmek, dendrogram ile de çizmek biçiminde yapılır.

Ölçüt ölçüt fark

• Ölçüt: Küme sayısı. Hiyerarşik: önceden gerekmez; küme sayısı ya da bir uzaklık eşiği ağaç kesilirken verilir. / K-means: başta belirtilmesi zorunludur.
• Ölçüt: Çıktı. Hiyerarşik: iç içe kümelerden oluşan ağaç ve dendrogram. / K-means: düz bölümleme ve küme merkezleri.
• Ölçüt: Ölçeklenme. Hiyerarşik: bağlantı kısıtı eklenmezse her adımda tüm olası birleşmeleri değerlendirdiği için hesaplama açısından pahalıdır; komşuluk matrisiyle büyük veriye ölçeklenebilir. / K-means: çok sayıda gözleme iyi ölçeklenir; MiniBatchKMeans daha da hızlıdır, sonuç kalitesi biraz düşebilir.
• Ölçüt: Tekrarlanabilirlik. Hiyerarşik: aynı veri ve ayarlarla aynı ağacı verir. / K-means: başlangıç merkezlerine bağlıdır, farklı başlangıçlarla farklı sonuç çıkabilir.
• Ölçüt: Küme biçimi. Hiyerarşik: bağlantı ölçütüne göre değişir; tekli bağlantı uzun, zincirleme kümeleri yakalayabilir. / K-means: dışbükey ve her yöne benzer yayılan kümeleri varsayar, uzun ya da düzensiz biçimlerde zayıflar.
• Ölçüt: Uzaklık türü. Hiyerarşik: tam, ortalama ve tekli bağlantı Öklid, Manhattan, kosinüs ya da önceden hesaplanmış herhangi bir uzaklıkla çalışır; Ward yalnız Öklid uzaklığıyla. / K-means: merkez ortalaması üzerinden çalıştığı için Öklid uzaklığına dayanır.
• Ölçüt: Yeni gözlem. Hiyerarşik: birleştirici kümeleme yalnız eldeki veriyi gruplar, yeni bir kayıt için modeli yeniden kurmak gerekir. / K-means: öğrenilen merkezlerle yeni kaydı doğrudan en yakın kümeye atar.

scikit-learn'ün yöntem tablosu bu ayrımı kullanım alanıyla özetler: k-means genel amaçlı, küme büyüklükleri dengeli, çok fazla küme olmayan düz geometriler için; hiyerarşik yöntem çok sayıda küme, bağlantı kısıtları ve Öklid dışı uzaklıklar için önerilir.

Veri büyüklüğü ve küme sayısına göre seçim

Pratikte karar iki soruya indirgenir: veri ne kadar büyük ve kaç küme aradığınızı biliyor musunuz?

Veri büyükse ve küme sayısı iş tarafından belli ise, örneğin pazarlama ekibi müşterileri yönetebileceği sayıda segmente ayırmak istiyorsa, k-means doğal seçimdir. Veri büyük ama küme sayısı belirsizse k-means yine taşıyıcı yöntem olur; farklı küme sayıları denenip siluet ve dirsek gibi ölçütlerle karşılaştırılır ya da küme sayısı bir örneklem üzerinde dendrogramla kestirilir.

Veri küçük ya da orta büyüklükteyse ve küme sayısı belliyse iki yöntem de iş görür; sonuçların tekrarlanabilir olması ya da küme biçimleri belirleyici olur. Veri küçükse ve küme sayısı belirsizse hiyerarşik kümeleme en çok bilgiyi verir: dendrogram, verinin kaç doğal düzeyde gruplandığını gözle okumanızı ve kümelerin birbirine nasıl bağlandığını görmenizi sağlar. Tür sınıflandırması, belge ya da gen ifadesi gruplaması gibi iç içe yapının kendisinin anlamlı olduğu işlerde de hiyerarşik yöntem tercih edilir.

Birlikte kullanım: dendrogramdan k-means'e

İki yöntem rakip olmak zorunda değildir. Büyük bir müşteri tablosunda küme sayısını bilmeyen bir analist önce rastgele bir örneklem alır ve Ward bağlantısıyla hiyerarşik kümeleme yapar. Dendrogramda birleşme uzaklığının belirgin biçimde sıçradığı yer, verinin kendiliğinden ayrıştığı düzeye işaret eder; bu düzeydeki küme sayısı aday olarak not edilir. Ardından k-means bu küme sayısıyla tüm veriye uygulanır ve k-means++ başlatmasıyla birkaç kez çalıştırılır. Son adımda kümeler iş anlamı açısından okunur: her kümenin ortalama profili çıkarılır, ilgili ekiple birlikte bir ad verilir.

Bu iş bölümünde hiyerarşik yöntem keşif aracı, k-means ise üretim aracıdır. Ward bağlantısının k-means ile aynı amaç ölçüsünü küçültmesi, iki aşamanın birbirine tutarlı sonuç vermesini kolaylaştırır.

Sık yapılan hatalar

• Ölçeklemeyi atlamak: büyük birimli bir değişken, örneğin yıllık harcama, uzaklık hesabını tek başına belirler ve iki yöntem de yalnız o değişkene göre gruplar.
• K-means'i tek başlatmayla çalıştırmak: kötü bir yerel çözüme takılmış sonuç, gerçek bir yapı gibi raporlanır.
• Bağlantı ölçütünü varsayılanda bırakmak: tekli bağlantı gürültülü veride tek bir dev küme ve birkaç küçük artık küme üretebilir; birleştirici kümelemenin büyük kümeyi büyüten eğilimi en az Ward'da görülür.
• Dendrogramı kesin yanıt sanmak: ağacın nereden kesileceği bir yorumdur; aday düzeyleri iş anlamıyla birlikte değerlendirmek gerekir.
• Hiyerarşik kümelemeyi yeni kayıtları sınıflandırmak için kullanmaya çalışmak: yeni müşteri geldikçe modeli yeniden kurmak gerekir; bu ihtiyaçta k-means merkezleri ya da kümeler üzerinde eğitilmiş bir sınıflandırıcı daha uygundur.

Mindset programlarında nerede çalışılır?

Veri Bilimi Sertifika Programı, kümeleme yöntemlerini denetimsiz öğrenme başlığı altında Python araçlarıyla birlikte ele alır; segmentasyon ya da keşifsel analiz yapacak veri analistleri ve veri bilimine geçiş yapanlar için yöntem seçimini uygulamaya bağlar. Model kurmayı uygulamalı projelerle derinleştirmek isteyenler için Makine Öğrenmesi (Uygulamalı) Programı, denetimsiz öğrenme ve boyut indirgemeyi ayrı bir modülde işler.