Denetimli Öğrenme mi Pekiştirmeli Öğrenme mi? Geri Bildirim Türüne Göre Seçim

Ortak zemin ve ayrıldıkları nokta

Denetimli öğrenme (supervised learning) ve pekiştirmeli öğrenme (reinforcement learning) makine öğrenmesinin iki ana öğrenme paradigmasıdır. İkisinde de bir model, deneyimden yola çıkarak daha iyi kararlar vermeyi öğrenir ve parametrelerini bir hedef fonksiyonu iyileştirecek biçimde günceller. Derin sinir ağları her iki yaklaşımda da model olarak kullanılabilir.

Ayrıldıkları nokta geri bildirimin biçimidir. Denetimli öğrenmede her girdi için doğru cevap (etiket) önceden bellidir; model tahmini ile doğru cevap arasındaki farkı küçültmeye çalışır. Pekiştirmeli öğrenmede doğru cevap verilmez. Bir ajan (agent) bir ortamda eylem yapar, ortam ona bir ödül (reward) ve yeni bir durum döner; ajan uzun vadede toplam ödülü en yükseğe çıkaracak davranış politikasını (policy) deneme yanılma ile bulmaya çalışır.

Temel farklar ölçüt ölçüt

• Ölçüt: Geri bildirim. Denetimli öğrenme: her örnek için doğru cevap, yani etiket. / Pekiştirmeli öğrenme: eylemin ne kadar iyi olduğunu gösteren, çoğu zaman gecikmeli ödül sinyali.
• Ölçüt: Veri nereden gelir? Denetimli öğrenme: önceden toplanmış ve etiketlenmiş sabit bir veri kümesi. / Pekiştirmeli öğrenme: ajanın ortamla etkileşimiyle üretilen deneyim; veri, ajanın kendi kararlarına bağlıdır.
• Ölçüt: Karar yapısı. Denetimli öğrenme: her tahmin tek başına değerlendirilir, örnekler birbirinden bağımsız kabul edilir. / Pekiştirmeli öğrenme: ardışık kararlar; bugünkü eylem yarınki durumu ve ödülü etkiler.
• Ölçüt: Temel zorluk. Denetimli öğrenme: yeterli ve doğru etiketli veri, aşırı öğrenme (overfitting), dağılım kayması. / Pekiştirmeli öğrenme: keşif ile sömürü (exploration-exploitation) dengesi, ödül tasarımı, örnek verimliliği, eğitim kararsızlığı.
• Ölçüt: Tipik yöntemler. Denetimli öğrenme: doğrusal ve lojistik regresyon, karar ağaçları, topluluk yöntemleri, destek vektör makineleri, sinir ağları. / Pekiştirmeli öğrenme: dinamik programlama, Monte Carlo ve zamansal fark (temporal difference) yöntemleri, Q-öğrenme, derin Q-ağları (DQN), politika gradyanı yöntemleri.
• Ölçüt: Başarı ölçümü. Denetimli öğrenme: ayrılmış test verisinde doğruluk, kesinlik, duyarlılık, hata ölçüleri. / Pekiştirmeli öğrenme: ortamda elde edilen toplam ödül ve davranışın kararlılığı.
• Ölçüt: Üretime alma riski. Denetimli öğrenme: görece öngörülebilir; model geçmiş veriyle doğrulanır. / Pekiştirmeli öğrenme: ajan gerçek ortamda deneme yaparsa maliyetli ya da riskli olabilir; çoğu zaman önce simülasyonda eğitilir.

Aynı problem iki yaklaşımla nasıl kurulur?

Örneğin bir e-ticaret şirketi kullanıcılara ürün önerisi yapmak istiyor. Denetimli öğrenme ile kurulduğunda geçmiş verideki her kullanıcı ve ürün çifti için "tıkladı mı, satın aldı mı" etiketi çıkarılır, model bu olasılığı tahmin etmeyi öğrenir ve en yüksek olasılıklı ürünler gösterilir. Model her öneriyi ayrı bir tahmin olarak ele alır.

Aynı problem pekiştirmeli öğrenme ile kurulduğunda öneri sistemi bir ajandır. Durum, kullanıcının o ana kadarki oturumu; eylem, gösterilecek ürün; ödül ise tıklama, satın alma ya da uzun vadeli geri dönüş olabilir. Ajan, bugün gösterdiği önerinin kullanıcının sonraki davranışını nasıl etkilediğini de hesaba katar ve yeni ürünleri denemekle bilineni göstermek arasında denge kurar.

Uygulamada ilk kurgu çok daha yaygındır, çünkü geçmiş veriyle eğitilip doğrulanabilir. İkinci kurgu, ardışık etkileşimin gerçekten önemli olduğu ve güvenli deneme ortamının bulunduğu durumlarda tercih edilir.

Denetimli öğrenme ne zaman doğru seçim?

Elinizde girdi ve doğru çıktı çiftleri varsa ya da makul maliyetle etiketlenebiliyorsa, denetimli öğrenme neredeyse her zaman ilk adaydır. Tipik iş problemleri şunlardır: • Sınıflandırma: müşteri kaybı tahmini, sahte işlem tespiti, e-posta ve belge sınıflandırma, görüntüde hata tespiti. • Regresyon: talep tahmini, fiyat tahmini, teslim süresi tahmini. • Sıralama ve skorlama: kredi skorlama, potansiyel müşteri puanlama.

Bu problemlerde her tahmin tek başına değerlendirilebilir ve modelin kararı ortamı değiştirmez ya da bu etki ihmal edilebilir. Geçmiş veriyle eğitim, çapraz doğrulama ve test seti üzerinde ölçüm, ekibin model kalitesini üretime almadan önce görmesini sağlar.

Pekiştirmeli öğrenme ne zaman doğru seçim?

Pekiştirmeli öğrenme, kararların ardışık olduğu, her eylemin sonraki durumu etkilediği ve doğru cevabın önceden etiketlenemediği problemler için uygundur: • Oyunlar ve stratejik karar problemleri. • Robotik kontrol ve otonom sistemler; genellikle önce simülasyonda eğitim. • Stok yenileme, fiyatlandırma ya da enerji yönetimi gibi zaman içinde dengelenmesi gereken kontrol problemleri. • Dil modellerinin insan tercihleriyle hizalanması (RLHF).

Bu yaklaşımın ön koşulu, ajanın güvenle deneme yapabileceği bir ortam ve iş hedefini doğru yansıtan bir ödül fonksiyonudur. Ödül yanlış tanımlanırsa ajan ödülü artıran ama iş açısından istenmeyen davranışlar geliştirebilir; buna ödül istismarı (reward hacking) denir. Bu nedenle ödül tasarımı, algoritma seçimi kadar önemlidir.

Arada kalan seçenek ve sık yapılan seçim hataları

Problem tam olarak ikisinden birine oturmuyorsa bağlamsal haydut (contextual bandit) yaklaşımına bakmak gerekir. Burada da bir ajan eylem seçer ve yalnızca seçtiği eylemin ödülünü görür; ancak eylemin sonraki durumu etkilemediği varsayılır. Bir web sayfasında hangi başlığın ya da kampanya görselinin gösterileceğine karar vermek bu türdendir. Keşif ile sömürü dengesi korunur, ama tam pekiştirmeli öğrenmenin uzun vadeli kredi atama sorunu ortadan kalkar.

Seçim aşamasında sık yapılan hatalar şunlardır: • Etiketli veri varken pekiştirmeli öğrenmeye yönelmek; problem ardışık değilse ek karmaşıklık değer üretmez. • Denetimli modelin kararlarının veriyi değiştirdiğini göz ardı etmek; örneğin yalnız onaylanan kredilerin geri ödeme etiketi oluşur ve model reddedilen başvurulardan hiç öğrenmez. • Pekiştirmeli öğrenmede ödülü tek bir kısa vadeli metriğe bağlamak; ajan o metriği artırırken müşteri memnuniyeti gibi ölçülmeyen hedefleri bozabilir. • Pekiştirmeli öğrenme sonucunu tek bir eğitim koşusuna bakarak değerlendirmek; farklı rastgele tohumlarla tekrarlanan eğitimlerde sonuçlar belirgin biçimde değişebilir.

Birlikte kullanım: taklitten ince ayara

İki yaklaşım çoğu modern sistemde birbirini tamamlar. En bilinen örnek büyük dil modellerinin eğitimidir: model önce örnek cevaplarla denetimli ince ayardan geçer, sonra insanların cevaplar arasındaki tercihlerinden bir ödül modeli eğitilir (bu da denetimli bir adımdır), son aşamada dil modeli bu ödül modeline göre pekiştirmeli öğrenme ile optimize edilir.

Robotik ve oyun alanında da benzer bir sıra izlenir. Ajan önce uzman gösterimlerini taklit ederek (davranış klonlama, aslında denetimli öğrenme) makul bir başlangıç politikası kazanır, ardından pekiştirmeli öğrenme ile bu politikayı iyileştirir. Böylece ajanın sıfırdan rastgele deneme yapma maliyeti azalır.

Mindset programlarında iki yaklaşımı nerede çalışırsınız?

Denetimli Öğrenme Algoritmaları eğitimi, doğrusal modeller, karar ağaçları, destek vektör makineleri ve model değerlendirme modülleriyle tahmin modeli kuran veri analistleri ve veri bilimciler içindir. Makine Öğrenmesi (Uygulamalı) Programı ise regresyon, sınıflandırma ve modeli üretime taşıma adımlarını tek bir akışta ele alır.

Pekiştirmeli Öğrenme Temelleri, dinamik programlama, zamansal fark yöntemleri, DQN ve politika gradyanı modüllerinin yanında iş uygulamaları ve Stable Baselines pratiğiyle ardışık karar problemlerine yönelen ekiplere hitap eder. Dil modelleriyle çalışan ekipler için Reinforcement Learning from Human Feedback (RLHF) Temelleri, tercih verisi toplama ve ödül modeli eğitimini ayrıca işler.