Bağlam Penceresi: Dil Modelinin Tek Seferde "Görebildiği" Metin
Bağlam penceresi, büyük dil modelinin tek seferde işleyebildiği token miktarıdır. Nasıl çalıştığını, sınırı aşınca ne olduğunu ve yönetim yollarını öğrenin.
Bağlam penceresi nedir?
Bağlam penceresi (context window), bir büyük dil modelinin tek bir istekte aynı anda işleyebildiği metin miktarının üst sınırıdır. Bu miktar kelimeyle değil token ile ölçülür; token, modelin metni böldüğü küçük parçalardır ve bir kelime tek bir token olabileceği gibi birkaç token da tutabilir. Bu yüzden bağlam penceresine "token sınırı" da denir.
Pencerenin içine yalnızca sizin yazdığınız soru girmez. Sistem talimatı, önceki konuşma mesajları, araca verilen belgeler ve modelin ürettiği yanıt da aynı sınırı paylaşır. Model, pencerenin dışında kalan hiçbir şeyi o istek sırasında "bilmez".
Nasıl çalışır?
Dil modeli her yanıtı üretirken pencere içindeki tüm token'lara bakar ve bir sonraki token'ı tahmin eder. Girdi ve çıktı aynı bütçeden harcandığı için, girdiyi pencerenin neredeyse tamamına dayarsanız yanıta çok az yer kalır. Pencere dolduğunda farklı sonuçlar görülebilir: istek hata verir ya da uygulama eski mesajları keserek konuşmayı kısaltır.
Bağlam penceresi bir hafıza değil, anlık bir çalışma alanıdır. Model her istekte baştan başlar; sohbet uygulamalarında "hatırlama" etkisi, geçmiş mesajların her seferinde isteğe yeniden eklenmesiyle sağlanır. Konuşma uzadıkça bu yükün büyümesi hem sınıra yaklaşmak hem de maliyet açısından önemlidir.
Küçük bir örnek
Örneğin bir şirket, müşteri sözleşmelerini özetleyen bir uygulama geliştiriyor. Uzun bir sözleşmenin tamamı, sistem talimatı ve istenen özet formatı birlikte pencereye sığıyorsa model tek seferde çalışabilir. Sözleşme pencereyi aşıyorsa, belge bölümlere ayrılır, her bölüm ayrı özetlenir, ardından bu özetler birleştirilerek ikinci bir istekte nihai özet çıkarılır.
Bir başka senaryoda kullanıcı sohbetin başında kendi tercihlerini belirtmiş, konuşma uzayınca uygulama eski mesajları kesmiştir. Model bu tercihi artık göremez ve çelişkili cevap verebilir. Sorun modelin unutması değil, bilginin pencere dışında kalmasıdır.
Pencere sığmadığında kullanılan yaklaşımlar
Uygulama geliştiricileri sınırla başa çıkmak için birkaç ortak teknik kullanır:
- Bağlam bütçesi: Pencereyi sistem talimatı, geçmiş, belgeler ve yanıt payı arasında bilinçli olarak paylaştırmak.
- Özetleme ve sıkıştırma: Eski mesajları ya da uzun metinleri kısa özetlerle değiştirmek.
- Seçici getirme: Tüm belgeyi vermek yerine soruyla ilgili parçaları bulup yalnızca onları eklemek. RAG (geri getirme destekli üretim) bu yaklaşımın yaygın biçimidir.
- Parçalama: Uzun belgeyi bölümlere ayırıp aşamalı işlemek.
- Gereksiz token'ları ayıklamak: Tekrarlayan talimatları, kullanılmayan alanları ve fazla ayrıntıyı temizlemek.
Pencereyi büyütmek her zaman çözüm değildir. Çok uzun bağlamlarda ilgili bilgi kalabalık içinde gözden kaçabilir ve işlenen token sayısı arttıkça maliyet ile gecikme de yükselir.
İlişkili kavramlardan farkı
Bağlam penceresi, modelin eğitim verisinden ayrıdır. Eğitim verisi modelin öğrendiği genel bilgiyi, bağlam penceresi ise o an verdiğiniz girdiyi ifade eder. Modelin bir bilgiyi "bilmesi" ile o bilginin pencerede "bulunması" farklı şeylerdir.
Embedding (gömme) ve vektör veritabanı pencerenin kendisi değil, pencereye doğru bilgiyi seçip koymaya yarayan araçlardır. Sıcaklık gibi üretim ayarları ise yanıtın çeşitliliğini etkiler, kapasiteyi değil. Bağlam penceresi hem ürün tasarımını hem de maliyeti doğrudan şekillendirdiği için LLM uygulamalarında ilk bakılan sınırlardan biridir.
Mindset programlarında nerede çalışılır?
LLM Uygulamalarında Bağlam Penceresi Yönetimi programının müfredatında şu başlıklar yer alır: • Bağlam Bütçesi ve Ölçüm • Sıkıştırma ve Seçim Stratejileri • Uzun Belge Desenleri ve Uygulama
LLM Maliyet Optimizasyonu programının müfredatında şu başlıklar yer alır: • Sürekli Maliyet Yönetimi Çerçevesi • LLM Maliyet Yapısını Anlamak • Token Optimizasyonu ve Istem Sıkıstırma • Model Büyüklügü ve Yönlendirme Stratejileri • Önbellek ve Çıkarım Optimizasyonu
İlgili Mindset programı
LLM Uygulamalarında Bağlam Penceresi Yönetimi
Sık sorulan sorular
Bağlam penceresi dolunca ne olur?
Uygulamaya göre iki sonuçtan biri görülür. Doğrudan model çağrısında istek hata döner. Sohbet uygulamalarında ise eski mesajlar kesilir ya da özetlenir ve model bu bilgileri artık göremez. Bu yüzden önemli talimatların ve kalıcı bilgilerin sürekli pencerede kalacak şekilde tasarlanması gerekir.
Token ile kelime aynı şey mi?
Hayır. Token, modelin metni böldüğü birimdir. Kısa ve yaygın bir kelime tek token olabilir, uzun ya da ekli bir Türkçe kelime birkaç token'a bölünebilir. Bu nedenle aynı anlamdaki metin diller arasında farklı sayıda token tüketebilir ve sınır hesabı kelime sayısıyla yapılmamalıdır.
Daha büyük pencere her zaman daha iyi sonuç verir mi?
Hayır. Pencere büyüdükçe işlenen token artar; bu da maliyeti ve yanıt süresini yükseltir. Çok uzun girdilerde modelin ilgili ayrıntıyı bulması da zorlaşabilir. Sıklıkla doğru parçayı seçip getirmek, her şeyi pencereye doldurmaktan daha dengeli bir sonuç verir. Kimi uygulamalarda küçük pencereli ama iyi seçilmiş bağlam, büyük pencereli ama düzensiz doldurulmuş bağlamdan daha isabetli yanıt üretir.
Bağlam penceresi RAG ile nasıl ilişkilidir?
RAG, geniş bir bilgi kaynağından yalnızca soruyla ilgili parçaları bulup pencereye ekler. Böylece tüm belge koleksiyonunu sığdırmaya çalışmadan modele güncel ve ilgili bilgi sağlanır. Pencere sınırı sabit kaldığı için RAG, sınırlı alanı verimli kullanmanın temel yollarından biridir. Geri getirilen parçaların kalitesi de yanıt kalitesini belirler, bu nedenle arama ve parçalama adımı ayrıca ölçülmelidir.