Bilgi damıtma: büyük modelin öğrendiğini küçük modele aktarmak
Bilgi damıtma, büyük ve yavaş bir modelin ürettiği çıktılarla daha küçük bir modeli eğitme yöntemidir. Öğretmen-öğrenci düzenini, yumuşak etiketlerin neden işe yaradığını ve niceleme ile farkını anlatır.
Bir bakışta
- Küçük model, büyük modelin çıktılarını taklit ederek eğitilir. Büyük model öğretmen, küçük model öğrenci rolündedir.
- Öğrenci yalnız doğru cevabı değil, öğretmenin olasılık dağılımını da öğrenir. Yanlış sınıfların birbirine yakınlığı da bilgidir.
- Amaç dağıtımı ucuzlatmaktır: daha az bellek, daha hızlı yanıt. Karşılığında bir miktar kalite kaybı göze alınır ve ölçülmelidir.
- Damıtma ile niceleme farklı işler yapar. Biri yeni ve küçük bir model eğitir, öbürü mevcut modelin sayı hassasiyetini düşürür.
Bilgi damıtma nedir?
Bilgi damıtma (knowledge distillation), büyük ve yetenekli bir modelin öğrendiği davranışı daha küçük bir modele aktarma yöntemidir. Büyük model öğretmen, küçük model öğrenci olarak adlandırılır. Öğrenci, yalnız veri kümesindeki doğru etiketlerle değil, öğretmenin o veriler üzerindeki çıktılarıyla da eğitilir.
Yöntemin gerekçesi bir maliyet sorunudur. Birden çok modelin tahminini birleştirmek ya da çok büyük bir ağ kullanmak başarıyı artırır ama canlı ortamda çalıştırmak pahalıdır. Hinton, Vinyals ve Dean'in bu konudaki çalışması, bir topluluk modelinin bilgisinin tek ve daha kolay dağıtılabilir bir modele sıkıştırılabileceğini ortaya koymuştur.
Bilgi büyük modelden küçük modele çıktılar üzerinden akar
Öğrenci, öğretmenin çıktılarını hedef alır
- Öğretmen modelBüyük, güçlü, çalıştırması pahalı
- Yumuşak çıktılarHer sınıf için olasılıklar, yalnız tek doğru cevap değil
- Öğrenci modelKüçük, hızlı, ucuz; bu çıktıları taklit eder
Yumuşak etiketler neden değerlidir?
Klasik eğitimde etiket “bu görsel kedidir” gibi tek bir doğru cevaptır. Büyük bir model ise aynı görsele tüm sınıflar için olasılık üretir: kediye yüksek, tilkiye düşük ama anlamlı, arabaya neredeyse sıfır. Bu dağılım, sınıfların birbirine ne kadar benzediğini de anlatır. Sert etikette bu bilgi yoktur.
Öğrenci bu dağılımı hedef aldığında, her örnekten çok daha fazla sinyal alır. Bu yüzden damıtılmış küçük model, aynı küçük mimariyi yalnız sert etiketlerle eğitmeye göre çoğu zaman daha iyi genelleşir. Sıcaklık ayarı bu noktada devreye girer: değer yükseldikçe olasılıklar yumuşar ve düşük olasılıklı sınıfların taşıdığı bilgi daha görünür olur.
Pratikte nasıl uygulanır?
Süreç kabaca şöyle işler. Önce güçlü bir öğretmen seçilir ya da eğitilir. Sonra eğitim verisi öğretmenden geçirilerek yumuşak çıktılar toplanır. Öğrenci modeli, hem gerçek etiketten gelen kayıp hem de öğretmenin çıktısından gelen kayıp birlikte kullanılarak eğitilir. Son olarak öğrenci, öğretmenle aynı değerlendirme kümesinde karşılaştırılır.
Büyük dil modellerinde aynı fikir bir adım farklı uygulanabilir: öğretmen modelin ürettiği yanıtlar, daha küçük bir modelin ince ayar verisi olarak kullanılır. Burada öğrenci olasılık dağılımını değil, öğretmenin metin çıktısını taklit eder. Bu yaklaşımda öğretmenin hataları da öğrenciye geçebilir; bu yüzden üretilen verinin süzülmesi gerekir.
- Öğretmen seçimi: hedef görevde güçlü olmalı
- Veri: öğretmenden geçirilmiş, çeşitli örnekler
- Kayıp: gerçek etiket ile öğretmen çıktısının birleşimi
- Değerlendirme: öğretmen ve öğrenci aynı kümede kıyaslanır
Kurgusal bir örnek: müşteri mesajı sınıflandırma
Bir destek ekibi, gelen mesajları konuya göre yönlendiren büyük bir dil modeli kullanıyor olsun. Model doğru çalışıyor ama her mesaj için yanıt süresi uzun ve çalıştırma maliyeti yüksek. Ekip, geçmiş mesajların bir kısmını büyük modelden geçirip konu olasılıklarını kaydeder.
Sonra çok daha küçük bir sınıflandırıcıyı bu çıktılarla eğitir. “Fatura” ve “ödeme” gibi birbirine yakın konuların olasılıkları birlikte yüksek olduğu için küçük model bu iki konunun yakınlığını da öğrenir. Sonuç, büyük modelin yönlendirme davranışına yakın ama belirgin biçimde daha hızlı çalışan bir modeldir. Ekip yine de kalan farkı gerçek mesajlar üzerinde ölçmeli ve belirsiz durumları büyük modele yönlendirmelidir.
Niceleme ile farkı
Damıtma ve niceleme (quantization) çoğu zaman aynı amaç için, yani modeli küçültüp hızlandırmak için anılır, ama işleyişleri farklıdır. Damıtma yeni bir model eğitir; mimari değişebilir ve eğitim verisi gerekir. Niceleme ise mevcut modelin ağırlıklarını daha düşük sayı hassasiyetiyle saklar; model aynı kalır, yalnız gösterimi küçülür.
İkisi birlikte de kullanılabilir: önce damıtılarak küçük bir model elde edilir, sonra bu model nicelenerek daha da hafifletilir.
Damıtma yeni model eğitir, niceleme mevcut modeli sıkıştırır
| Bilgi damıtma | Niceleme | |
|---|---|---|
| Ne yapar? | Küçük bir modeli büyük modelin çıktılarıyla eğitir | Mevcut modelin sayı hassasiyetini düşürür |
| Model | Yeni, çoğu zaman farklı ve daha küçük bir mimari | Aynı model, daha küçük gösterim |
| Ne gerekir? | Eğitim süreci ve veri | Çoğunlukla kalibrasyon verisi ve araç |
| Kalite riski | Öğrenci öğretmenin altında kalabilir | Hassasiyet düştükçe doğruluk düşebilir |
Sınırları ve dikkat edilecekler
Damıtma bedava sıkıştırma değildir. Öğrenci, öğretmenin kapasitesine ulaşamaz; fark görevin zorluğuna ve öğrencinin boyutuna göre değişir. Öğretmenin önyargıları ve hataları öğrenciye de geçer. Ayrıca bazı model sağlayıcılarının kullanım koşulları, çıktılarının başka bir modeli eğitmek için kullanılmasını kısıtlayabilir; bu nedenle kullanım şartları kontrol edilmelidir.
Bu yüzden damıtma sonrası ölçüm zorunludur: aynı değerlendirme kümesinde, gerçek kullanım örnekleriyle ve kritik hata türleri ayrı ayrı izlenerek öğrencinin yeterli olup olmadığına karar verilir.
Mindset programlarında bu konu nerede çalışılır?
Quantization ve Distillation programı, model sıkıştırmanın gerekçesini, bilgi damıtmanın temellerini ve uygulamasını, damıtma ile niceleme gibi tekniklerin birlikte kullanımını ve üretim ortamında kalite değerlendirmesini ele alır. Modellerini canlıya alırken maliyet ve gecikmeyle uğraşan yapay zeka ve veri bilimi ekipleri için uygundur.
İlgili Mindset programı
Quantization ve Distillation
Sık sorulan sorular
Bilgi damıtma ile ince ayar aynı şey midir?
Aynı değildir. İnce ayar, mevcut bir modeli yeni veriyle uyarlar. Damıtma ise başka bir modelin davranışını hedef alarak çoğunlukla daha küçük bir modeli eğitir. Büyük dil modellerinde ikisi iç içe geçebilir: öğretmenin ürettiği yanıtlarla öğrenciye ince ayar yapılabilir.
Öğrenci model öğretmenden daha iyi olabilir mi?
Genel kural olarak öğrenci öğretmenin altında kalır, çünkü öğretmenin bilgisi öğrenciye kapasitesi ölçüsünde aktarılır. Belirli ve dar bir görevde, iyi damıtılmış küçük bir model yeterli sonuç verebilir; bu durumda önemli olan görev bazında ölçüm yapmaktır.
Damıtma için öğretmenin içine erişmek gerekir mi?
Klasik yöntemde öğretmenin olasılık çıktılarına ihtiyaç vardır. Yalnız metin çıktısı veren bir hizmet kullanılıyorsa, üretilen yanıtlar öğrencinin eğitim verisi olarak kullanılır; bu durumda olasılık dağılımının zengin bilgisi kaybolur.
Damıtılmış model ne zaman tercih edilmelidir?
Görev dar ve iyi tanımlıysa, yanıt hızı ve işletme maliyeti kritikse ya da model sınırlı donanımda çalışacaksa tercih edilir. Genel amaçlı, çok yönlü bir yetkinlik isteniyorsa küçültmenin getireceği kayıp daha fazla hissedilebilir.