BERT ince ayarı: metin sınıflandırma projesi nasıl yürütülür

BERT nedir, metin sınıflandırmada neden kullanılır?

BERT, metni hem soldan hem sağdan okuyarak bağlamı kavrayan, Transformer mimarisinin kodlayıcı (encoder) kısmına dayanan bir dil modelidir. Büyük miktarda metinle önceden eğitilmiş olarak gelir; böylece dilin yapısı, kelimeler arası ilişkiler ve anlam örüntüleri hakkında genel bir bilgiye sahiptir. Metin sınıflandırma ise bir metnin hangi kategoriye ait olduğunu belirleme görevidir: bir müşteri yorumunun olumlu mu olumsuz mu olduğu, bir e-postanın spam olup olmadığı, bir destek talebinin hangi birime gideceği gibi.

Geleneksel yöntemlerde (kelime sayımına dayalı özellikler ve klasik sınıflandırıcılar) kelimenin cümledeki yerine ve bağlama duyarlılık sınırlıdır. "Banka" kelimesinin nehir kenarı mı yoksa finans kurumu mu olduğunu bağlam belirler. BERT bu bağlamı yakalar. Önceden eğitilmiş bir model, kendi küçük etiketli veri setinizle ince ayar (fine-tuning) yapıldığında, sıfırdan eğitilen modellere göre çok daha az veriyle iyi sonuç verebilir.

Bu yaklaşımın bir sınırı vardır: BERT ve türevleri metin üreten değil, metni anlayıp sınıflandıran ya da etiketleyen modellerdir. Üretken büyük dil modelleri ise sınıflandırmayı istemle de yapabilir. Ancak sabit kategorili, yüksek hacimli ve maliyete duyarlı sınıflandırma işlerinde ince ayarlı bir BERT türevi hâlâ pratik ve ekonomik bir seçenektir.

Projeye başlamadan: problemi ve veriyi tanımlamak

Her sınıflandırma projesi problemin net tanımıyla başlar. Hangi kategoriler var? Bir metin tek bir kategoriye mi (çok sınıflı) yoksa birden fazla kategoriye birden mi (çok etiketli) ait olabilir? Kategoriler birbirinden gerçekten ayrışıyor mu? Etiketleme kuralları yazılı mı? Bu sorular cevaplanmadan modele geçmek, belirsiz hedefe model eğitmektir.

Veri tarafında temel adımlar şunlardır: Metinlerin toplanması, kişisel veriden arındırılması, etiketlenmesi ve eğitim, doğrulama ve test olarak ayrılması. Etiket kalitesi sonucu doğrudan belirler. Farklı kişilerin aynı metni farklı etiketlemesi, modelin öğrenebileceği üst sınırı düşürür; bu yüzden etiketleyiciler arası tutarlılık kontrol edilir ve belirsiz örnekler için yönerge yazılır.

Sınıf dengesizliği sık karşılaşılan sorundur. Bir kategori çok nadir görünüyorsa model onu hiç tahmin etmeyerek yine de yüksek doğruluk elde edebilir. Bu nedenle yalnızca genel doğruluğa değil, her sınıf için ayrı ölçütlere bakmak gerekir. Dengesizlik, ağırlıklandırma, örnekleme ya da ek veri toplama ile yönetilir.

Test verisi, model geliştirme sürecinde bir kez bile görülmemiş olmalıdır. Test verisine bakarak ayar yapmak, sonuçların gerçekte olduğundan iyi görünmesine neden olur.

BERT mimarisi ve ön eğitimin mantığı

BERT'in temelinde dikkat mekanizması (attention) vardır. Bu mekanizma, bir cümledeki her kelimenin diğer kelimelerle ilişkisini hesaplar ve hangi kelimelere ne kadar dikkat edeceğini öğrenir. Çok katmanlı bir yapıda bu işlem tekrarlandığı için model, kelimelerin bağlama göre değişen temsillerini üretir.

Ön eğitim aşamasında model, büyük bir metin yığını üzerinde kendi kendine öğrenir. Temel görevlerden biri maskelenmiş dil modellemesidir: cümlede rastgele kelimeler gizlenir ve model bunları çevreleyen bağlamdan tahmin etmeye çalışır. Bu görev, çift yönlü bağlamı kullanmayı zorunlu kılar. Eğitim sonunda elde edilen model, genel dil bilgisini taşır ve belirli bir göreve uyarlanmaya hazırdır.

Metin girdisi modele verilmeden önce belirteçlere (token) ayrılır. BERT ailesi kelimeleri alt kelime parçalarına böler; böylece nadir ya da eklemeli kelimeler de temsil edilebilir. Türkçe gibi eklemeli dillerde belirteçleme biçimi önemlidir: modelin eğitildiği dile uygun belirteçleyici kullanılmazsa performans düşer. Sınıflandırmada metnin başına eklenen özel bir belirteç, tüm cümlenin özetini taşır ve sınıflandırma katmanına verilir.

Türkçe metinlerde çok dilli bir model yerine Türkçe verilerle eğitilmiş bir model tercih etmek çoğu zaman daha iyi sonuç verir; ancak seçim, veri alanı ve model kalitesi deneyle doğrulanmalıdır.

BERT türevleri: hangisi ne zaman seçilir?

BERT'in ardından çeşitli türevler geliştirildi. Bazıları daha kapsamlı eğitim ile performansı artırır, bazıları modeli küçültüp hızlandırır, bazıları farklı dillere ya da alanlara (hukuk, tıp, finans) uyarlanmıştır.

Seçimde şu ölçütlere bakılır.

• Doğruluk ihtiyacı: Karmaşık, ince ayrımlar gerektiren işlerde büyük model, basit işlerde küçük model yeterli olabilir.
• Gecikme ve maliyet: Gerçek zamanlı ve yüksek hacimli sistemlerde küçük ve damıtılmış modeller uygundur.
• Dil: Türkçe metin için Türkçe ya da çok dilli modeller karşılaştırılmalıdır.
• Alan: Özel alan metni (sözleşme, klinik not) için o alanda eğitilmiş modeller daha başarılı olabilir.
• Donanım: Elinizdeki işlemci ve bellek imkânları.

Uygulamada genellikle önce küçük ve hızlı bir modelle temel bir sonuç alınır, sonra daha büyük modeller denenir ve kazanç maliyete değer mi diye bakılır. Karar sezgiyle değil, aynı veri ve aynı ölçütle yapılan karşılaştırmayla verilir. Güncel model listeleri ve kullanım ayrıntıları için model paylaşım platformlarındaki ve kütüphanelerin resmî dokümantasyonuna bakılması gerekir, çünkü bu alan hızlı değişir.

İnce ayar: adım adım

İnce ayar, önceden eğitilmiş modelin üstüne bir sınıflandırma katmanı eklemek ve etiketli verinizle modeli birkaç tur eğitmektir. Tipik akış şöyledir.

Önce veri hazırlanır: metinler temizlenir (gereksiz biçim kalıntıları, tekrarlar), model için uygun belirteçleyiciyle belirteçlere dönüştürülür ve uzunluk sınırına göre kesilir ya da doldurulur. Çok uzun metinlerde başlangıç ve sonu almak ya da metni parçalara bölüp sonuçları birleştirmek gibi stratejiler kullanılır.

Sonra eğitim ayarları seçilir: öğrenme oranı, tur sayısı, grup büyüklüğü. İnce ayarda öğrenme oranı genellikle küçük tutulur; çok büyük oran önceden öğrenilmiş bilgiyi bozabilir. Eğitim sırasında doğrulama verisi üzerindeki kayıp ve ölçütler izlenir. Doğrulama kaybı artmaya başladığında erken durdurma uygulanır, çünkü model eğitim verisini ezberlemeye başlamıştır (aşırı öğrenme).

Hesaplama kısıtlıysa parametre verimli ince ayar yöntemleri (modelin yalnızca küçük bir kısmını eğiten yaklaşımlar) kullanılabilir. Bu yöntemler hem bellek hem süre kazandırır.

Eğitim bittikten sonra değerlendirme yalnız genel doğrulukla yapılmaz. Her sınıf için kesinlik (tahmin edilenlerin ne kadarı doğru), duyarlılık (gerçek örneklerin ne kadarı yakalandı) ve ikisinin dengesini veren F ölçütü, ayrıca karışıklık matrisi incelenir. Hangi sınıfların birbirine karıştığına bakmak, veri ya da etiket sorunlarını gösterir.

Örnek akış: destek taleplerini birimlere yönlendirmek

Örneğin bir şirket, müşterilerden gelen serbest metin talepleri ilgili birime yönlendirmek istiyor: fatura, teknik arıza, iade, bilgi talebi gibi. Mevcut talepler geçmişte elle etiketlenmiş.

Önce etiketler gözden geçirilir; birbirine çok benzeyen kategoriler birleştirilir ve belirsiz talepler için "diğer" sınıfı tanımlanır. Veri kişisel bilgiden arındırılır, eğitim, doğrulama ve test olarak ayrılır. Temel bir model olarak basit bir yöntem kurulup sonucu kaydedilir; bu, BERT'in gerçekten fark yaratıp yaratmadığını ölçmek için bir referans noktasıdır.

Ardından Türkçe bir BERT modeliyle ince ayar yapılır. Sonuçlar sınıf bazında incelenir; fatura ve iade sınıflarının birbirine karıştığı görülürse, örnekler okunur ve etiketleme kuralı netleştirilir. Model güven skorunun düşük olduğu talepler, otomatik yönlendirme yerine insan incelemesine gönderilir.

Üretimde izleme önemlidir. Yeni bir ürün çıktığında ya da talep dili değiştiğinde model performansı düşebilir. Belirli aralıklarla örnek tahminler kontrol edilir, yanlışlar etiketlenip yeniden eğitim verisine eklenir. Bu döngü, modeli güncel tutar.

Sık yapılan hatalar ve Mindset programlarında çalışma

Başlıca hatalar şunlardır: Etiketleme kuralı belirsizken eğitime başlamak, test verisini ayar için kullanmak, sınıf dengesizliğini göz ardı etmek, yalnız genel doğruluğa bakmak, basit bir referans model kurmadan doğrudan büyük modele gitmek, belirteçleyiciyi modelle uyumsuz seçmek, uzun metinleri sessizce kesmek ve üretimde performans izlemesini atlamak. Bir diğer hata da modelin kararının hukuki ya da hassas sonuç doğurduğu işlerde insan denetimi koymamaktır.

Başlamak için küçük, net kategorili bir veri seti (kendi kurumunuzdan anonimleştirilmiş metinler ya da açık veri setleri) seçin. Basit bir referans modelle başlayın, ardından BERT türevi ile ince ayar yapın ve sonucu aynı ölçütlerle karşılaştırın.

Mindset programlarında bu konu BERT ve Türevleri ile Sınıflandırma ve Doğal Dil İşleme için Transformer Modelleri eğitimleriyle ele alınır. BERT eğitiminin modülleri BERT mimarisi ve ön eğitim, BERT türevleri ve gelişmiş modeller, metin sınıflandırma uygulamaları, adlandırılmış varlık tanıma ve sıra etiketleme, soru yanıtlama ve metin anlama ile ince ayar, değerlendirme ve üretimdir. Transformer eğitimi ise dikkat mekanizması ve Transformer mimarisi, BERT ve çift yönlü ön eğitim, GPT ailesi, tokenizasyon ve gömme katmanları, kurumsal NLP görevleri, parametre verimli ince ayar yöntemleri ve üretimde NLP sistemi tasarımını işler.