RAG için Belge Ayrıştırma: Metni ve Tabloyu Yapısını Kaybetmeden Çıkarmak

Ayrıştırma neden RAG kalitesini belirler?

RAG, bir soruya kurum belgelerinden bulduğu parçalarla yanıt verir. Bu parçalar belgeden çıkarılan metindir; çıkarma sırasında sütunlar birbirine karışmışsa, başlıklar kaybolmuşsa ya da bir tablo satır satır dağılmışsa, model doğru parçayı bulsa bile içeriği yanlış anlar. En iyi geri getirme ve en güçlü model, bozuk metni düzeltemez.

Ayrıştırma bu yüzden bir ön işlem değil, sistemin kalite tabanıdır. Hatalar sessizdir: sistem çalışır, yanıt üretir, ama yanıt eksik ya da yanlış bilgiye dayanır. Sorun çoğu zaman 'model hatası' sanılır ve yanlış yerde aranır.

Bu adım parçalamadan önce gelir. Parçalama, metnin hangi sınırlardan bölüneceğini belirler; ayrıştırma ise bölünecek metnin sağlam ve yapılı olmasını sağlar. Belgeden alan çıkarma (fatura numarası, tarih gibi belirli alanları yapılı veriye çevirme) farklı bir niyettir; burada amaç, belgenin bütün içeriğini arama ve yanıt için doğru ve yapılı biçimde hazırlamaktır.

Belge türüne göre yol seçimi

Her belge aynı yöntemle çıkarılmaz. İlk iş, elinizdeki belgelerin türlerini sınıflandırmaktır.

Metin tabanlı PDF, içinde gerçek metin katmanı bulunan belgedir; metin doğrudan çıkarılabilir. Asıl sorun düzendir: çok sütunlu sayfa, kenar kutuları, dipnotlar ve üstbilgi-altbilgi okuma sırasını bozabilir. Taranmış PDF ya da fotoğraf ise yalnız görüntüdür; önce OCR gerekir ve OCR hatalarının (benzer karakter karışıklıkları, bozuk satır sonları) sonradan denetlenmesi gerekir. Excel dosyası PDF değildir: sayfa, başlık satırı, birleşik hücre, gizli satır, formül ve not alanları vardır. Word ve sunum dosyalarında başlık hiyerarşisi genellikle zaten dosya yapısında bulunur ve korunabilir.

Karışık bir belge havuzunda önce türü tespit eden küçük bir yönlendirme adımı kurulur: bu belge metin katmanı taşıyor mu, tablo içeriyor mu, taranmış mı? Sonra her tür kendi ayrıştırıcısına gider. Ayrıştırıcı seçimi ve sürümleri sık değişir; bu nedenle araçtan çok yöntem ve denetim kriteri önemlidir.

Başlıklar, okuma sırası ve gürültü temizliği

Metin çıkarıldıktan sonra yapısal bilgi kurtarılır. Başlık hiyerarşisi, parçanın hangi bölüme ait olduğunu söyler; 'Teslimat koşulları' başlığı altındaki bir cümle, başlıktan kopunca anlamını kaybedebilir. Bu yüzden başlıkları metin içinde tanımak ve her parçaya bağlı bölüm adını meta veri olarak taşımak gerekir.

Çok sütunlu sayfalarda okuma sırası kontrol edilmelidir. Basit çıkarıcılar sayfayı satır satır soldan sağa okur ve sütunları iç içe geçirir. Çıkan metnin birkaç sayfasını okuyarak cümlelerin akıp akmadığına bakmak, bu sorunu hızla gösterir.

Gürültü temizliği de bu aşamadadır: her sayfada tekrar eden üstbilgi ve altbilgi, sayfa numaraları, filigran, içindekiler tablosu satırları, gizlilik uyarısı gibi unsurlar arama sonuçlarını kirletir. Hepsini körlemesine silmek ise tehlikelidir; bazı uyarılar anlamlı olabilir. Kural, bir unsurun yanıt üretmeye katkı sağlayıp sağlamadığını sormaktır.

Satır sonu kırılmaları ve kelime bölmeleri de OCR çıktısında sık görülür. Satır içinde bölünmüş kelimeler birleştirilir, gerçek paragraf sınırları korunur.

Tablolar ve Excel: ilişkiyi korumak

Tablo, satır ve sütun başlıklarının birlikte anlam taşıdığı bir yapıdır. Düz metne indirgenince hücreler arka arkaya dizilir ve hangi değerin hangi başlığa ait olduğu kaybolur. Model 'tedarikçi performansı' sorusuna cevap ararken yalnız sayıları ve adları görür, aralarındaki bağı değil.

Çözüm, tabloyu anlamı koruyacak biçimde temsil etmektir. En yaygın yöntemlerden biri her satırı başlıklarıyla birlikte kendi başına anlaşılır bir ifadeye çevirmektir: 'Tedarikçi: X firması; ürün grubu: ambalaj; teslimat uyumu: yüksek; denetim durumu: tamam'. Böylece her satır parça olarak tek başına doğru yanıtlanabilir. Küçük tablolar bütünüyle, başlığıyla ve açıklamasıyla tek parça olarak da tutulabilir.

Excel dosyalarında ek tuzaklar vardır. Başlık satırı ilk satırda olmayabilir. Birleşik hücreler boş görünen alanlar yaratır; bunlar üstteki değerle doldurulmalıdır. Gizli sayfalar ve satırlar, hesaplama ara tabloları yanlışlıkla içeriğe girebilir. Formüller yerine hesaplanmış değer mi, formül metni mi alınacağına karar verilmelidir; çoğunlukla hesaplanmış değer ve sayfa-hücre başvurusu bilgisi anlamlıdır.

Tablo çok genişse, her satıra gerekli tüm başlıkları eklemek parçayı şişirir. Önce hangi soruların tablodan yanıtlanacağını belirleyin; ona göre hangi sütunların parçaya girmesi gerektiğine karar verin.

Meta veri: parçanın kimliği

Her ayrıştırılmış parça, nereden geldiğini bilmelidir. Kaynak belge adı, sürümü, sayfa ya da sayfa-sayfa aralığı, bölüm başlığı, tablo adı ve belgenin türü, parçaya eşlik eden meta veridir.

Meta veri birkaç işe yarar. Birincisi, kullanıcıya yanıtın kaynağını göstermektir; kurum içi kullanımda 'bu bilgi hangi belgenin hangi sayfasından' sorusu güvenin temelidir. Bir diğeri, geri getirmede filtre sağlar: yalnız güncel sürümde ya da belirli belge türünde arama yapılabilir. Son olarak, belge güncellendiğinde ilgili parçaların bulunup yenilenmesini mümkün kılar.

Erişim yetkisi de meta veriyle yönetilir: her parça, kimlerin görebileceği bilgisini taşımalıdır. Bu konu ayrı ele alınır ama ayrıştırma aşamasında kaybedilen kaynak bilgisi, sonradan yetki uygulamayı imkânsız kılar. Meta veri sonradan eklenemez; belgenin kimliği ayrıştırma sırasında yakalanmalıdır.

Doğrulama: ayrıştırmayı toplu çalıştırmadan önce görmek

Ayrıştırmanın en tehlikeli yanı, hatalarının sessiz olmasıdır. Binlerce belge çalıştırıldıktan sonra fark edilen bir sütun karışıklığı, tüm indeksi yeniden kurmak demektir.

Doğrulama için belge havuzundan temsil edici küçük bir örnek küme seçin: her belge türünden, kolay ve zor örneklerle birlikte. Çıkarılan metni orijinalle yan yana okuyun. Şunlara bakın: okuma sırası doğru mu, başlıklar yerinde mi, tablolar anlamlı mı, taranmış sayfalarda karakter hataları kabul edilebilir mi, tekrar eden gürültü silinmiş mi?

Bulduğunuz sorunları kayıt altına alın ve ayrıştırıcı ayarlarını buna göre düzeltin. Sonra bir sonraki adım olarak, bu örnek belgelerden gerçek kullanıcı sorularını sorun ve yanıtların kalitesine bakın; sorun ayrıştırmadaysa yanıtta görünür. Toplu çalıştırmadan sonra da rastgele örneklemeyle düzenli denetim yapın. Yeni belge türleri geldikçe doğrulama tekrarlanır.

İşin sonunda bir kontrol listesi oluşturun: belge türü tanındı mı, okuma sırası doğru mu, tablo yapısı korundu mu, meta veri eksiksiz mi, gürültü temizlendi mi? Bu liste, ayrıştırmanın her yeni belge grubunda tekrarlanabilir olmasını sağlar.

Sık yapılan hatalar

• Tüm belgeleri tek bir ayrıştırıcıyla çalıştırmak: tür farklarını yok saymak
• Çıkan metne bakmadan indekslemek
• Tabloyu düz metin olarak almak
• Taranmış belgeyi OCR yapmadan beklemek
• Başlık ve kaynak bilgisini kaybetmek, sonradan eklemeye çalışmak
• Üstbilgi ve altbilgiyi temizlemeyip aramayı kirletmek
• Gizli sayfa ve satırları fark etmeden içeriğe katmak
• Ayrıştırmayı bir kez kurup yeni belge türleri geldiğinde yeniden denetlememek

Bu hataların çoğu, ayrıştırmayı 'sadece metin çıkarma' saymaktan doğar. Oysa bu adım, sistemin neyi bilebileceğini belirler.

Bu beceriyi Mindset programlarında nerede çalışırsınız

Yapay Zeka (AI) Destekli İş Analitiği Uzmanlık Programı, Kurumsal Veri Analitiğinde LLM ve RAG Mimarisi modülünde RAG teknolojisini, LangChain ile dokümanlardan (PDF, Excel) otomatik bilgi çekmeyi ve kurumsal verinin güvenli işlenmesini birlikte ele alır. Retrieval-Augmented Generation (RAG) Sistemleri programının Belge İşleme ve Parçalama Stratejileri modülü ise ayrıştırma ve parçalamayı daha derin çalışmak isteyenler için uygundur.