Hibrit arama kurma rehberi: RAG'de kelime ve anlam bir arada

Hibrit arama neden gerekir?

Vektör arama, sorunun anlamına yakın parçaları bulmakta başarılıdır. "Aracı kiralamak" diye sorulduğunda "araç tahsis sözleşmesi" geçen bir parçayı da getirebilir. Buna karşılık kesin ifade gerektiren aramalarda zayıf kalabilir: ürün kodu, hata mesajı, sözleşme madde numarası, kişi ya da kurum adı, kısaltma gibi ifadeler anlam benzerliği ile değil, birebir eşleşme ile aranır.

Anahtar kelime tabanlı arama ise tam tersi bir dengeye sahiptir. Sorudaki kelime belgede geçiyorsa çok iyi bulur, ama eş anlamlıları ve farklı ifadeleri kaçırır. Hibrit arama bu yaklaşımları aynı hatta birleştirir: Hem kelime eşleşmesiyle hem anlam benzerliğiyle aday toplar, sonuçları tek bir listede sıralar. Kurumsal dokümanlarda hem doğal dilde sorular hem de kod, madde ve ad aramaları bir arada görüldüğü için hibrit yaklaşım sık tercih edilir.

Hangi bileşenler birleşir?

Hibrit hattın kolları vardır. Sözcük kolu, sözcük tabanlı sıralama yapan bir arama motorudur. Bunun en yaygın puanlama yöntemi BM25'tir: Bir sorgu kelimesinin belgede ne sıklıkla geçtiğine, belgenin uzunluğuna ve kelimenin tüm koleksiyonda ne kadar nadir olduğuna bakar. Nadir ve ayırt edici kelimeler daha çok ağırlık taşır. Bu kol Elasticsearch ve OpenSearch gibi arama motorlarında ya da bazı vektör veritabanlarının dahili anahtar kelime özelliklerinde bulunur.

Vektör kolu, embedding modeliyle üretilmiş vektörler üzerinde yakınlık araması yapan vektör koludur. Soru da aynı modelle vektöre çevrilir, en yakın parçalar döndürülür.

Türkçede ek bir dikkat noktası vardır: Çekim ekleri nedeniyle aynı kökten türeyen kelimeler farklı biçimlerde geçer. Anahtar kelime kolunda Türkçeye uygun bir çözümleyici ya da kök bulma kullanılmazsa eşleşme beklenenden zayıf olur. Bu ayar kurulumda sık gözden kaçar.

Sonuçlar tek listede nasıl birleştirilir?

Kollardan gelen puanlar aynı ölçekte değildir. BM25 puanı belirli bir aralıkta, vektör benzerliği başka bir aralıkta olabilir; bunları doğrudan toplamak güvenilir sonuç vermez. Bu nedenle yaygın birleştirme yöntemleri kullanılır.

Bunlardan biri sıra tabanlı birleştirmedir. Reciprocal Rank Fusion (RRF) olarak bilinen yöntem, puanlara değil, her listedeki sıraya bakar. Bir parça her listede de üst sıralardaysa birleşik sıralamada öne çıkar. Ölçek sorunu olmadığı ve ayar gerektirmediği için iyi bir başlangıç noktasıdır.

Diğeri puan tabanlı birleştirmedir. Puanlar önce ortak bir ölçeğe normalize edilir, sonra bir ağırlıkla karıştırılır. Ağırlık, kelime koluna mı yoksa anlam koluna mı daha çok güvenileceğini belirler. Bu yöntem daha fazla kontrol sağlar ama normalizasyon seçimi ve ağırlık ayarı kendi verinizle test edilmelidir.

Birleştirme sonrası liste genellikle bir yeniden sıralama aşamasına da girer; böylece geniş aday kümesi son kez soruya göre dizilir.

Kurulum adımları

Hibrit aramayı mevcut bir RAG hattına eklemek için şu sıra izlenebilir.

• Mevcut durumu ölçün: Önce yalnızca vektör aramayla bir değerlendirme seti çalıştırın ve hangi sorularda doğru parçanın bulunamadığını not edin. Kod, ad ve kısaltma soruları bu sette ayrıca bulunmalıdır.
• Parçaları hem vektör hem sözcük biçiminde dizinleyin: Aynı parçalar hem vektör dizinine hem sözcük dizinine yazılır. Parça kimliği ikisinde de aynı olmalıdır, aksi halde sonuçlar eşleştirilemez.
• Türkçe analizi ayarlayın: Küçük harfe çevirme, çekim eki ve noktalama davranışını sözcük kolu için kontrol edin.
• Tüm kolları sorgulayın ve aday sayısını geniş tutun.
• Birleştirme yöntemini seçin; başlangıçta sıra tabanlı birleştirme yeterlidir.
• Metadata filtrelerini tüm kollara uygulayın. Tek kolda filtre unutulursa yetkisiz ya da güncel olmayan belge sonuçlara karışabilir.
• Değerlendirme setini yeniden çalıştırıp farkı gözleyin.

Bazı vektör veritabanları hibrit sorguyu tek çağrıyla destekler; bu durumda dizinleme ve birleştirme veritabanı tarafında yapılır. Ürün seçerken bu özelliğin Türkçe analiz desteğini ayrıca doğrulayın.

Örnek: dahili destek asistanında hata kodu sorguları

Örneğin bir yazılım şirketinin dahili destek asistanı, "E-kodlu hata mesajı neden çıkıyor" türü sorularla karşılaşıyor olsun. Vektör arama bu sorguda hata kodunun kendisini değil, benzer sorunları anlatan genel metinleri öne çıkarabilir; çünkü kod, embedding uzayında anlamlı bir ifade taşımaz. Sözcük kolu ise o kodu geçen kayıt ve çözüm notunu doğrudan bulur.

Bunun tersi de olur. Kullanıcı hata kodunu bilmeden "uygulama yüklenirken donuyor" diye yazarsa sözcük kolu eşleşme bulamaz; vektör kolu ise bu davranışı anlatan çözüm notuna ulaşır. Hibrit hat bu durumların hepsini karşılar. Birleşik listede, hem kod hem anlam açısından güçlü olan kayıt en üste çıkar.

Ölçüm yaparken bu sorgu türlerini ayrı raporlamak faydalıdır. Hibrit aramanın katkısı çoğu zaman tam olarak kod, ad ve kısaltma sorularında ortaya çıkar; doğal dil sorularında fark küçük olabilir.

Sık yapılan hatalar ve ayar ipuçları

Hibrit aramada tekrar eden hatalar şunlardır:

• Puanları normalize etmeden toplamak
• Sözcük koluna Türkçe analiz uygulamayı atlamak
• Aday sayısını küçük tutup birleştirmenin etkisini baştan bastırmak
• Ağırlığı sezgiyle seçip ölçmemek
• Metadata filtresini yalnızca bir kolda uygulamak
• Dizinleri senkron tutmamak: Bir belge güncellendiğinde yalnızca vektör dizini yenilenir, sözcük dizini eski kalır

Ayar için pratik yol, farklı ağırlıklar ve birleştirme yöntemlerini aynı değerlendirme setinde denemek, sonuçları soru türüne göre kırmaktır. Gerekirse sorguyu sınıflandırıp kod benzeri sorgularda sözcük koluna, doğal dil sorgularında anlam koluna daha çok ağırlık veren dinamik bir ayar da kullanılabilir. Önce basit ve ölçülebilir olanı kurmak, karmaşıklığı gerekçesi görünür olduğunda eklemek daha sağlıklıdır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Kurum İçi Bilgiyle Konuşan Yapay Zeka: RAG ve Vektör Veritabanları eğitimi, vektör veritabanları ve gelişmiş RAG tekniklerini ayrı modüllerde ele alır. Vektör Veritabanları ve Embedding Stratejileri eğitiminde "Metadata Filtreleme ve Hibrit Arama" modülü yer alır; İleri RAG Mimarileri: Hybrid Search ve Reranking eğitiminde ise "Hibrit Arama Kurulumu" ve "Yeniden Sıralama (Reranking)" modülleri bulunur.

Bu içerik, kurum içi doküman asistanı geliştiren yazılım ve veri ekipleri için uygundur; arama kalitesinden sorumlu mühendislerin ve ürün sahiplerinin ortak terimlerle çalışmasına katkı verir.