Kurum Verisiyle Konuşan Yapay Zeka: RAG Sistemi Kurma Rehberi

RAG nedir ve neden kurum içi kullanımda tercih edilir?

RAG, bir dil modelinin yanıt üretmeden önce kurumun kendi belgelerinden ilgili parçaları bulup bağlam olarak almasını sağlayan yaklaşımdır. Model kurum bilgisini ezbere bilmez; her soruda ilgili paragrafı önüne koyar ve yanıtı onlara dayandırır.

Bu yaklaşımın pratik avantajları vardır. Belgeler değiştiğinde modeli yeniden eğitmek gerekmez, yalnız dizin güncellenir. Ayrıca yanıt hangi belgeden geldiğini gösterebildiği için kullanıcı kaynağı kontrol edebilir. Kurumsal politika soruları, ürün dokümantasyonu, destek bilgi tabanı ve sözleşme arama gibi alanlar tipik kullanım örnekleridir.

Adım adım RAG hattı

Çalışan bir RAG sistemi aşamalardan oluşur ve her aşama kalitesini doğrudan etkiler:

• Doküman toplama: PDF, Word, wiki sayfası ve e-posta gibi kaynaklar belirlenir; hangi belgenin güncel ve yetkili olduğu kararlaştırılır.
• Temizleme ve parçalama: Üstbilgi, altbilgi ve tekrar eden metin ayıklanır, belgeler anlam bütünlüğü korunacak şekilde parçalara bölünür.
• Embedding üretimi: Her parça, anlamını sayısal vektöre çeviren bir modelle temsil edilir.
• Vektör veritabanına yazma: Vektörler, kaynak belge, bölüm ve erişim yetkisi gibi üst veriyle saklanır.
• Geri getirme: Kullanıcı sorusu da vektöre çevrilir ve en yakın parçalar bulunur.
• Yanıt üretimi: Bulunan parçalar talimatla birlikte dil modeline verilir, model kaynak göstererek yanıtlar.

Bu hattın hangi aşamasında hata olduğunu ayırt edebilmek için her aşamayı ayrı ayrı test etmek gerekir.

Parçalama ve vektör veritabanı seçimi

Parçalama kararı sistemin kalitesini en çok etkileyen ayardır. Çok küçük parçalar bağlamı koparır, çok büyük parçalar ise ilgisiz içeriği de beraberinde taşır. Başlık yapısı olan belgelerde bölümleri başlıklarına göre ayırmak, ardışık parçalar arasında küçük bir örtüşme bırakmak yaygın bir başlangıçtır. Tablolar ve listeler ise bölünmeden tek parça tutulur.

Vektör veritabanı seçerken şu ölçütlere bakılır: veri hacmi, sorgu hızı, üst veriye göre filtreleme desteği, hibrit arama yeteneği ve mevcut altyapıya uyum. Küçük veri kümelerinde var olan bir veritabanına eklenen vektör özelliği yeterli olabilir; büyük hacimde özel bir vektör veritabanı daha rahat ölçeklenir. Platformlar hızlı geliştiği için seçimi pilot veriyle karşılaştırmak, tablodan karar vermekten daha güvenlidir.

Örneğin kurgusal bir insan kaynakları politikası belgesinde izin hakları, harcama kuralları ve uzaktan çalışma ilkeleri ayrı başlıklar altındaysa her başlığı kendi parçası yapmak, kullanıcı izin sorduğunda harcama maddelerinin bağlama karışmasını önler. Parçalara belge adı ve bölüm başlığı gibi üst veri eklemek, yanıtta kaynağı göstermeyi de kolaylaştırır.

Geri getirmeyi iyileştirme: hibrit arama, filtre ve yeniden sıralama

Yalnız anlamsal aramaya dayanan sistem, ürün kodu ya da kısaltma gibi tam eşleşme gereken sorularda zayıf kalabilir. Anahtar kelime aramasını anlamsal aramayla birleştiren hibrit yaklaşım bu açığı kapatır.

Üst veri filtresi de önemli bir araçtır. Kullanıcının bölümü, belgenin türü ya da geçerlilik durumu filtre olarak uygulanırsa model yalnız ilgili belgelerden okur. Bir başka teknik, ilk aşamada geniş bir aday kümesi çekip ikinci aşamada bunları soruya uygunluğa göre yeniden sıralamaktır. Böylece dil modeline az ama isabetli parça gider ve yanıt hem kısalır hem de doğruluğu artar.

Güvenlik, yetki ve veri yönetişimi

Kurumsal RAG sisteminde en kritik risk, yetkisiz bilginin yanıta sızmasıdır. Vektör veritabanı her parçanın kimler tarafından okunabileceğini üst veride tutmalı ve filtre sorgu anında uygulanmalıdır. Dil modeline gönderilen bağlam, kullanıcının zaten erişebildiği belgelerle sınırlıdır.

Kişisel veri içeren belgeler için önce hangi verinin dizine alınacağı kararlaştırılır. Dışarıdaki bir model hizmeti kullanılıyorsa gönderilen içeriğin saklanıp saklanmadığı sözleşme ve ayarlarla netleştirilir. Ayrıca belgelerin içine gömülmüş talimatların modeli yönlendirmesi riskine karşı, bağlamın talimat değil veri olarak ele alındığı bir istem yapısı kurulur.

Değerlendirme ve üretime alma

Bir RAG sistemini demo ile değil, hazırlanmış bir soru kümesiyle değerlendirin. Gerçek kullanıcı sorularından örnekler seçin, her biri için beklenen yanıtı ve dayanak belgeyi yazın. İki şey ölçülür: doğru parçanın bulunup bulunmadığı ve yanıtın bu parçalara sadık kalıp kalmadığı.

Üretime alırken şu başlıklar kontrol edilir: belge güncellemelerinin dizine otomatik yansıması, yanıtlarda kaynak gösterimi, "bilmiyorum" diyebilme davranışı, kullanıcı geri bildirimi, kayıt tutma ve maliyet izleme. Sistemin canlıya çıkması bitiş değil başlangıçtır; yanlış yanıtlanan sorular her hafta incelenip parçalama, filtre ve istem ayarlarına geri beslenir.

Değerlendirme kümesine zor örnekler de koyun: belgede yanıtı olmayan sorular (sistem bilmediğini söylemeli), birbiriyle çelişen eski ve yeni belge sürümleri ve kısaltma ağırlıklı sorular. Böyle örnekler olmadan ölçülen başarı, gerçek kullanımda görülenden iyimser çıkar.

Sık yapılan hatalar

• Belgeleri temizlemeden dizine almak: çift kayıtlar ve eski sürümler yanlış yanıtın en sık kaynağıdır.
• Parçalama kararını bir kez verip değerlendirmemek.
• Yetki filtresini model tarafına bırakmak; filtre veritabanı sorgusunda uygulanmalıdır.
• Kaynak göstermeden yanıt vermek, kullanıcının doğrulamasını imkânsız kılar.
• Değerlendirme kümesi olmadan ayar yapmak ve iyileşmeyi sezgiyle yargılamak.

RAG her sorunun çözümü de değildir. Bilgi küçük ve sabitse doğrudan bağlama koymak, hesap gerektiren sorularda ise bir araç çağırmak daha uygundur.

Mindset programlarında nerede çalışılır?

Kurum İçi Bilgiyle Konuşan Yapay Zeka: RAG ve Vektör Veritabanları eğitiminin modülleri bu hattın hemen her aşamasını kapsar: RAG mimarisi ve temel kavramlar, vektör veritabanları, kurumsal doküman işleme boru hattı, gelişmiş RAG teknikleri, değerlendirme ve optimizasyon, üretim dağıtımı. Vektör Veritabanları ve Embedding Stratejileri eğitimi ise embedding temelleri, yaklaşık en yakın komşu arama, platform karşılaştırması, üst veri filtreleme ve hibrit arama ile ölçeklendirmeye odaklanır.