Görsel ve PDF içeren belgeler için multimodal RAG kurma rehberi

Metin tabanlı RAG neden görselli belgelerde yetersiz kalır?

Kurumsal belgelerin önemli bir bölümü yalnızca düz metinden oluşmaz. Ürün kılavuzlarında şemalar, finansal raporlarda grafikler ve tablolar, teknik çizimlerde etiketli parçalar, taranmış formlarda el yazısı alanlar bulunur. Klasik bir RAG hattı PDF'ten metni çıkarıp parçaladığında bu içeriğin büyük kısmı ya kaybolur ya da anlamsız bir satır yığınına dönüşür. Tablonun satır ve sütun ilişkisi bozulur, grafiğin söylediği hiçbir şey metne geçmez.

Multimodal RAG, görsel unsurları da erişim ve cevap üretimi sürecine dahil eden yaklaşımdır. Amaç, kullanıcının "şu grafikte düşüş hangi dönemde başlıyor" ya da "bu şemada hangi parça hangi bağlantıya gidiyor" gibi sorularına cevap verebilmektir. Bunun için hattın şu noktalarında değişiklik gerekir: belgenin ayrıştırılması, görsellerin aranabilir hale getirilmesi ve cevabı üreten modelin görsel girdiyi anlayabilmesi.

Temel yaklaşımlar: görseli metne mi çevirmeli, doğrudan mı aramalı?

Uygulamada birkaç yaklaşım vardır ve çoğu zaman birlikte kullanılır.

• Görseli metne çevirmek: Her görsel, tablo ya da grafik için bir görsel anlama modeliyle açıklama üretilir; açıklama normal metin gibi parçalanır ve dizinlenir. Mevcut metin tabanlı hat neredeyse değişmeden çalışır. Dezavantajı, açıklamanın kalitesine bağımlı olması ve açıklamada yer almayan ayrıntının kaybolmasıdır.
• Çok modlu embedding kullanmak: Metin ve görseli aynı vektör uzayına yerleştiren bir model kullanılır; soru metin olarak sorulur, en yakın görseller doğrudan bulunur. Açıklama üretme adımı gerekmez, ama model seçimi ve Türkçe sorgu desteği ayrıca sınanmalıdır.
• Sayfayı görüntü olarak dizinlemek: Her sayfa bir görüntü olarak embedding'e girer; düzen, tablo ve görsel bütünlüğü korunur. Bulunan sayfa görsel anlama modeline verilir.

Seçim, belge türüne bağlıdır. Çoğunlukla metin içeren ve arada tablo bulunan raporlarda metne çevirme yaklaşımı yeterli olabilir. Teknik çizim ve şema ağırlıklı belgelerde doğrudan görsel arama daha uygundur.

Adım adım hat kurulumu

Bir multimodal RAG hattı şu aşamalarla kurulur.

• Belgeyi ayrıştırın: PDF'ten metin bloklarını, tabloları ve görselleri ayrı ayrı çıkarın. Taranmış belgelerde önce karakter tanıma (OCR) gerekir. Başlık, sayfa numarası ve bölüm bilgisini metadata olarak saklayın.
• Tabloları yapısıyla koruyun: Tabloyu satır sütun düzenini bozmayan bir biçime (örneğin yapılandırılmış metin) çevirin; yalnızca düz metin akışına bırakmayın.
• Görselleri işleyin: Her görsel için ya açıklama üretin ya da çok modlu embedding çıkarın. Görselin geçtiği sayfa ve çevresindeki metin, açıklamayla birlikte saklanır.
• Dizinleyin: Metin parçaları, tablo parçaları ve görsel kayıtları aynı koleksiyonda, ama tür etiketiyle tutun. Her kayıt kaynak belge ve sayfaya bağlanır.
• Getirin: Soru için hem metin hem görsel aday kayıtlar çekilir; gerekirse sonuçlar yeniden sıralanır.
• Cevaplayın: Bulunan metinler ve görseller, görsel girdiyi destekleyen bir modele birlikte verilir. Cevapta kaynak sayfa belirtilir.

Her aşamada kaynak bilgisini kaybetmemek, kullanıcının cevabı belgeye dönüp doğrulayabilmesini sağlar.

Örnek: teknik servis kılavuzu asistanı

Örneğin bir makine üreticisinin servis teknisyenleri için kurulan asistanı düşünelim. Kılavuzda bakım adımları metin, parça yerleşimi ise etiketli şemalarla anlatılıyor. Teknisyen "filtre kapağı hangi vidalarla sabitlenir" diye soruyor.

Metin tabanlı bir hat şemadaki vidaları göremez; yalnızca metindeki kısa bir cümleye dayanabilir. Multimodal hatta ise şemanın bulunduğu sayfa getirilir, görsel anlama modeli şemayı okur ve cevap, metindeki adım ile şemadaki etiketleri birlikte kullanır. Kaynak olarak sayfa gösterildiği için teknisyen cevabı şemaya bakarak teyit edebilir.

Bu örnekte kritik nokta, şemadaki etiketlerin okunabilir çözünürlükte çıkarılmasıdır. Düşük çözünürlüklü bir görsel, model ne kadar güçlü olursa olsun yanlış okunur. Bu yüzden ayrıştırma sırasında görsel kalitesini kontrol edip gerekirse sayfayı daha yüksek çözünürlükte yeniden işlemek, hattın doğruluğunu doğrudan etkiler.

Değerlendirme ve kalite kontrolü

Multimodal hattın değerlendirmesi, metin tabanlı RAG değerlendirmesinden daha fazla boyut içerir. Erişim tarafında soru-görsel eşleşmesine bakılır: Doğru şema, tablo ya da sayfa getirilen sonuçlar arasında mı? Cevap tarafında ise cevabın hem metne hem görsele sadakati incelenir.

Değerlendirme setine mutlaka şu soru türleri girmelidir:

• Cevabı yalnızca tablo hücresinde bulunan sorular
• Cevabı grafikte okunması gereken eğilim ya da değerle ilgili sorular
• Metin ve görselin birlikte yorumlanmasını gerektiren sorular
• Belgede cevabı bulunmayan, sistemin görsel üzerinden uydurma yapıp yapmadığını sınayan sorular

Görsel anlama modelleri küçük yazı, yoğun tablo ve benzer renkli grafik serilerinde hata yapabilir. Bu yüzden önemli kararlarda kullanılan sistemlerde cevaplar kaynak sayfa ile birlikte sunulmalı ve kritik değerler için insan onayı adımı düşünülmelidir. Maliyet ve gecikme de ölçülmelidir: Görsel işleme, metin işlemeye göre belirgin biçimde daha pahalı olabilir.

Güvenlik ve veri yönetimi

Görsel içerik, yeni bir risk yüzeyi de açar. Belgelerdeki görsellerin içinde kişisel veri, imza, kimlik bilgisi ya da gizli iş bilgisi bulunabilir; bunlar metin kadar denetlenmelidir. Belge yetkilendirmesi görsel kayıtlara da uygulanmalıdır: Kullanıcı bir belgeyi göremiyorsa o belgenin görselleri de aramada çıkmamalıdır.

Bir başka risk, görsel içine gömülmüş talimatlardır. Bir görselde okunan metin, modele komut gibi görünüp cevabı yönlendirebilir. Bu yüzden görselden çıkarılan içerik, güvenilmeyen girdi olarak ele alınmalı; modelin yetkileri ve çıktı kontrolleri buna göre sınırlandırılmalıdır.

Son olarak belge güncellendiğinde eski görsellerin dizinden silinmesi gerekir. Metin parçaları yenilenirken görsel kayıtlar eski kalırsa, cevap eski şemaya dayandırılabilir. Güncelleme sürecinde belge kimliği, sürüm ve görsel kayıtları birlikte yönetilmelidir.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Multimodal RAG Mastery: Yapay Zekâda Yeni Nesil Bilgi Keşfi Eğitimi, "Multimodal Yapay Zekâya Giriş", "RAG Mimarisi ve Veri Yönetimi", "Metin + Görsel RAG Uygulamaları", "Ses ve Video Entegrasyonu" ve "Güvenlik, Etik ve Kalite Yönetimi" modüllerinden oluşur; ayrıca kurumsal proje geliştirme modülünü içerir. Retrieval-Augmented Generation (RAG) Sistemleri eğitimi ise metin tabanlı RAG temelini sağlar.

Bu içerik, belge zengini kurumlarda bilgi asistanı geliştiren yazılım ve veri ekipleri için uygundur; bilgi yönetimi ve ürün sorumlularının görsel içerikli belge sorunlarını teknik ekiple aynı dille konuşmasına da yardımcı olur.