Token ve Tokenizasyon: Dil Modelleri Metni Nasıl Parçalar?

Token nedir?

Büyük dil modelleri (LLM) metni harf harf ya da kelime kelime okumaz. Metni önce token adı verilen parçalara böler ve modelin gerçekte gördüğü şey bu parçalardır. Bir token bir kelime olabilir, kelimenin bir bölümü olabilir, tek bir karakter ya da noktalama işareti olabilir.

Bu yüzden token, dil modellerinde hem işlenen girdinin hem üretilen çıktının ölçü birimidir. Modelin ne kadar metin okuyabildiği, ne kadar cevap üretebildiği ve bir kullanımın ne kadara mal olduğu token cinsinden ifade edilir.

Tokenizasyon nasıl çalışır?

Tokenizasyon, ham metnin token dizisine çevrilmesi işlemidir. Bunu yapan bileşene tokenizer denir. Modern dil modellerinde yaygın yaklaşım alt-sözcük (subword) tokenizasyonudur: sık geçen kelimeler tek token olarak tutulur, nadir ya da uzun kelimeler daha küçük parçalara bölünür.

Bu yöntemin avantajı, modelin hiç görmediği bir kelimeyi bile bilinen parçaların birleşimi olarak ifade edebilmesidir. Sözlük dışı kelime sorunu böylece azalır. Her token sayısal bir kimliğe (ID) çevrilir ve model bu kimliklerle çalışır; sonra çıktıdaki kimlikler tekrar metne dönüştürülür. Hangi parçaların oluşacağı, tokenizer'ın eğitildiği veriye ve algoritmaya göre değişir. Bu yüzden farklı modellerin tokenizer'ları aynı cümleyi farklı sayıda token olarak böler.

Örnek: aynı cümle, farklı parçalama

Örneğin "yapay zeka uygulamaları" ifadesini düşünelim. Sık görülen bir İngilizce ifade tek bir token ile temsil edilirken, Türkçe gibi ek alan (sondan eklemeli) dillerde bir kelime kök ve eklere ayrılarak birkaç token'a dönüşebilir. Aynı anlamı taşıyan cümleler farklı dillerde farklı sayıda token tüketebilir.

Bu nedenle Türkçe metinle çalışan bir uygulamada token tüketimi, aynı içeriğin İngilizce karşılığına göre farklı olabilir. Gerçek sayıyı tahmin etmek yerine, kullanılan modelin kendi tokenizer aracıyla ölçmek en güvenli yoldur.

Token neden önemlidir? Bağlam penceresi ve maliyet

Token pratikte şu konularla doğrudan ilişkilidir:

• Bağlam penceresi: Bir modelin tek seferde işleyebileceği toplam token miktarı sınırlıdır. Bu sınır, istem (prompt), yüklenen belge, sohbet geçmişi ve üretilecek yanıtın toplamını kapsar. Uzun bir belgeyi özetlerken bu sınır aşılırsa belge parçalara bölünmeli ya da özetlenmelidir.
• Maliyet ve hız: Çoğu API sağlayıcısı kullanım ücretini girdi ve çıktı token'ı üzerinden hesaplar. Daha fazla token daha yüksek maliyet ve genellikle daha uzun yanıt süresi demektir.

Kurumsal uygulamalarda bu konular tasarım kararlarını etkiler: istemin sade tutulması, gereksiz bağlamın gönderilmemesi ve yanıt uzunluğunun sınırlanması bütçeyi ve gecikmeyi kontrol altına alır.

Sık yapılan hatalar

Yaygın bir yanlış, token'ı kelimeyle aynı sanmaktır. Bu nedenle kelime sayısına dayanarak yapılan maliyet ve sınır hesabı gerçekten sapabilir. Bir başka hata, sohbet geçmişinin her istekte tamamen gönderilmesidir; konuşma uzadıkça her çağrı pahalanır ve bağlam sınırına yaklaşılır.

Bunlara ek olarak şu noktalar sık atlanır: • Girdi kadar çıktı token'ının da maliyete ve sınıra dahil olduğu unutulur. • Tokenizer'ın farklı dil, sayı ve kod içeriğinde farklı davranabileceği göz ardı edilir. • Modelin harf sayma, ters çevirme gibi karakter düzeyindeki işlerde zayıflığının kısmen token yapısından kaynaklandığı bilinmez, çünkü model harfleri değil parçaları görür.

İlişkili kavramlar ve Mindset bağlamı

Token; gömme (embedding), dikkat mekanizması, bağlam penceresi ve istem mühendisliği kavramlarıyla birlikte öğrenilir. Gömme katmanı her token'ı sayısal bir vektöre çevirir, dikkat mekanizması token'lar arasındaki ilişkileri hesaplar.

Mindset kataloğunda Doğal Dil İşleme için Transformer Modelleri programı dikkat mekanizması ve Transformer mimarisini, BERT'i, GPT ailesini ve Tokenizasyon ve Gömme Katmanları modülünü içerir. OpenAI API ile Kurumsal Uygulama Geliştirme programı maliyet yönetimi ve optimizasyon konusunu, Anthropic Claude API ile Uygulama Geliştirme programı ise Claude API mimarisi, üretim entegrasyonu ve izleme konularını işler.