Denetimli Öğrenme mi Denetimsiz Öğrenme mi? Etiketin Belirlediği Ayrım

Temel ayrım: Veride doğru cevap var mı?

Denetimli öğrenmede model, her örneğin yanında doğru cevabın da bulunduğu veriyle eğitilir. Bu doğru cevaba etiket ya da hedef değişken denir: bir e-postanın spam olup olmadığı, bir müşterinin aboneliği bırakıp bırakmadığı, bir evin satış değeri. Model, girdi özellikleriyle etiket arasındaki ilişkiyi öğrenir ve daha önce görmediği bir örnek için etiketi tahmin eder.

Denetimsiz öğrenmede etiket yoktur. Elde yalnızca özellikler bulunur ve modelden beklenen, bu özelliklerin içindeki yapıyı ortaya çıkarmasıdır: birbirine benzeyen kayıtları gruplamak, veriyi daha az boyutla özetlemek, sık birlikte görülen öğeleri bulmak ya da genel örüntüye uymayan kayıtları işaretlemek.

Kısaca denetimli öğrenme "Bu örneğin cevabı ne?" sorusunu, denetimsiz öğrenme "Bu veride hangi yapı var?" sorusunu yanıtlar. Hangisinin kullanılacağına algoritma tercihi değil, elinizdeki verinin etiketli olup olmadığı ve iş sorusunun biçimi karar verir.

Ortak zemin: Aynı veri hazırlığı, aynı tuzaklar

Yaklaşımların ikisi de makine öğrenmesinin parçasıdır ve aynı ön hazırlık disiplinini ister. Eksik değerlerin ele alınması, kategorik değişkenlerin kodlanması, ölçek farklarının giderilmesi ve aykırı değerlerin incelenmesi, modelin türünden bağımsız olarak sonucun kalitesini belirler.

Ortak tuzaklar da vardır: • Ölçeklenmemiş özellikler: Uzaklığa dayalı yöntemlerde (k-en yakın komşu, k-ortalama) büyük ölçekli bir değişken diğerlerini ezer. • Veri sızıntısı: Gelecekte bilinmeyecek bir bilginin eğitim verisine karışması denetimli modelde sahte başarı, denetimsiz modelde yapay kümeler üretir. • Yanlış özellik seçimi: İş sorusuyla ilgisiz değişkenler hem tahmini hem de bulunan grupları anlamsızlaştırır.

Bu nedenle ekipler genellikle aynı veri hattını her model türü için kullanır; değişen, hattın sonunda kurulan model ve onu değerlendirme biçimidir.

Ölçüt ölçüt karşılaştırma

• Veri: Denetimli öğrenme / her örnek için etiket gerekir. Denetimsiz öğrenme / yalnız özellikler yeterlidir.
• Amaç: Denetimli öğrenme / bilinen bir hedefi tahmin etmek. Denetimsiz öğrenme / bilinmeyen yapıyı keşfetmek.
• Görev türleri: Denetimli öğrenme / sınıflandırma ve regresyon. Denetimsiz öğrenme / kümeleme, boyut indirgeme, ilişkilendirme kuralları, anomali tespiti.
• Örnek algoritmalar: Denetimli öğrenme / doğrusal ve lojistik regresyon, karar ağaçları, destek vektör makineleri, k-en yakın komşu. Denetimsiz öğrenme / k-ortalama, hiyerarşik kümeleme, yoğunluk tabanlı kümeleme, temel bileşen analizi, otokodlayıcılar.
• Başarının ölçülmesi: Denetimli öğrenme / ayrılmış test verisinde doğruluk, kesinlik, duyarlılık, hata kareleri gibi nesnel metriklerle. Denetimsiz öğrenme / siluet gibi iç ölçütlerle ve çoğunlukla alan uzmanının yorumuyla.
• Maliyet nerede: Denetimli öğrenme / etiket üretmek (insan emeği, zaman, uzmanlık). Denetimsiz öğrenme / sonucu yorumlamak ve iş diline çevirmek.
• Çıktı: Denetimli öğrenme / her yeni kayıt için bir sınıf ya da sayı. Denetimsiz öğrenme / gruplar, bileşenler, kurallar ya da aykırılık skorları.

Değerlendirme farkı neden kritik?

Denetimli bir modelin ne kadar iyi olduğunu söylemek görece kolaydır: veriyi eğitim ve test olarak ayırırsınız, modelin test kümesinde gerçek etiketlere ne kadar yaklaştığını ölçersiniz, çapraz doğrulama ile sonucun şansa bağlı olmadığını kontrol edersiniz. Doğru metrik seçimi yine de dikkat ister; dengesiz sınıflarda yalnız doğruluğa bakmak, nadir sınıfı hiç yakalamayan bir modeli başarılı gösterebilir.

Denetimsiz öğrenmede karşılaştırılacak bir doğru cevap olmadığı için değerlendirme daha yorumsaldır. Küme sayısı seçilirken dirsek yöntemi ya da siluet skoru yol gösterir ama son kararı işin anlamı verir: Bulunan gruplar birbirinden ayırt edilebiliyor mu, her grup için farklı bir aksiyon tanımlanabiliyor mu, sonuçlar veri yeniden örneklendiğinde benzer kalıyor mu?

Pratik bir kural: Denetimsiz bir analizin sonucunu bir iş kararına bağlayamıyorsanız, analiz henüz bitmemiştir.

Hangi durumda hangisi?

Denetimli öğrenme şu durumlarda doğru seçimdir: • Tahmin etmek istediğiniz sonuç açık ve ölçülebilir (kredi geri ödemesi, makine arızası, satış miktarı). • Geçmişte bu sonucun kayıtlı olduğu yeterli örnek var ya da etiketleme yapılabilir. • Modelin çıktısı tek tek kayıtlar için karar destek olarak kullanılacak.

Denetimsiz öğrenme şu durumlarda öne çıkar: • Etiket yok ya da üretmek çok pahalı. • Soru keşif niteliğinde: "Müşterilerimiz hangi doğal gruplara ayrılıyor?" • Çok sayıda değişkeni görselleştirmek veya başka bir modele girdi olarak sadeleştirmek gerekiyor. • Daha önce görülmemiş türde sapmaları yakalamak istiyorsunuz; örneğin yeni bir dolandırıcılık biçimi henüz etiketli örnek üretmemişken.

Örneğin bir perakende şirketi kampanyaya kimin yanıt vereceğini tahmin etmek istiyorsa ve geçmiş kampanyaların yanıt kayıtları elindeyse denetimli bir sınıflandırma kurar. Aynı şirket önce müşteri tabanını tanımak istiyorsa alışveriş davranışlarına göre kümeleme yapar.

Birlikte kullanım: Rakip değil, aynı hattın parçaları

Gerçek projelerde bu yaklaşımlar sıklıkla aynı akışta yer alır: • Boyut indirgeme ile özellik hazırlığı: Temel bileşen analizi gibi bir yöntemle çok sayıdaki değişken sadeleştirilir, ardından denetimli model bu bileşenlerle eğitilir. • Kümeleri özellik olarak kullanmak: Müşterinin ait olduğu küme, kayıp tahmini modeline yeni bir değişken olarak eklenir. • Etiketleme maliyetini azaltmak: Önce kümeleme yapılır, her kümeden temsilci örnekler etiketlenir; bu yaklaşım yarı denetimli öğrenmeye yakındır. • Anomali tespitinden sınıflandırmaya geçiş: Denetimsiz yöntemin işaretlediği şüpheli kayıtlar uzmanlarca incelenir, onaylananlar zamanla etiketli veri setine dönüşür ve denetimli bir modele zemin hazırlar.

Ayrıca öz denetimli öğrenme gibi yaklaşımlar, etiketi verinin kendisinden üreterek bu ikili ayrımı bulanıklaştırır. Ayrımı bilmek yine de önemlidir; çünkü hangi aşamada hangi soruyu sorduğunuzu ve sonucu nasıl doğrulayacağınızı belirler.

Sık yapılan hatalar

• Kümeleme sonucunu kesin gerçek gibi sunmak: Algoritma her zaman bir gruplama üretir; bu, verinin gerçekten gruplu olduğunu kanıtlamaz.
• Etiket kalitesini sorgulamamak: Denetimli model ancak etiketler kadar iyidir. Tutarsız ya da önyargılı etiketler modele aynen geçer.
• Denetimsiz sonucu test kümesinde "doğruluk" ile ölçmeye çalışmak: Kümelerin numaraları keyfidir; bir etiketle eşlemeden doğruluk hesaplanamaz.
• Problemi yanlış çerçevelemek: Elde etiket varken salt keşif amacıyla kümelemeye gitmek ya da etiket yokken önce etiketleme stratejisini düşünmeden denetimli model planlamak.

Bu hatalara karşı temel önlem, projeye başlarken iş sorusunu, veri durumunu ve başarı ölçütünü yazılı olarak netleştirmektir.

Mindset programlarında bu ayrımı nerede çalışırsınız?

Denetimli Öğrenme Algoritmaları eğitimi denetimli öğrenme çerçevesiyle başlar; doğrusal modeller ve düzenlileştirme, karar ağaçları ve kural tabanlı yöntemler, destek vektör makineleri, k-en yakın komşu ve olasılıksal modeller ile model değerlendirme ve karşılaştırma modüllerini içerir.

Denetimsiz Öğrenme Algoritmaları eğitimi ise k-ortalama ve bölümleyici kümeleme, hiyerarşik ve yoğunluk tabanlı kümeleme, boyut indirgeme teknikleri, ilişkilendirme kuralları ve sık örüntüler ile otokodlayıcılar ve üretken modeller modüllerinden oluşur. Bu yaklaşımları uçtan uca bir proje içinde görmek isteyenler için Makine Öğrenmesi (Uygulamalı) Programı tamamlayıcı bir seçenektir.