Metinden bilgi çıkarma: varlık tanıma uygulamasının adımları

Varlık tanıma ve bilgi çıkarımı nedir?

Bilgi çıkarımı, yapılandırılmamış metinden belirli türde bilgiyi yapılandırılmış alanlara dönüştürme işidir. Varlık tanıma, İngilizce adıyla named entity recognition ve kısaca NER, bu işin temel adımıdır: metindeki kişi, kurum, yer, tarih, tutar, ürün ya da alana özgü kavramları bulur ve türünü etiketler. Örneğin bir haber metninde Ankara yer, bir şirket adı kurum, bir tarih ifadesi zaman olarak işaretlenir.

Varlık tanıma sıklıkla tek başına bitmez. Sonraki adım, bulunan varlıklar arasındaki ilişkilerin çıkarılmasıdır: kim hangi kurumda çalışıyor, hangi sözleşme hangi tarafla yapılmış, hangi ürün hangi şikâyete konu? İlişki çıkarımı, varlıkları bilgi grafiğine, veri tabanına ya da raporlama sistemine bağlamayı mümkün kılar.

Nerede kullanılır?

Kullanım alanları metnin bulunduğu her yere yayılır: • Sözleşme ve belge işleme: taraf, tarih, tutar ve süre gibi alanları belgelerden çıkarmak. • Müşteri talepleri: e-posta ve şikâyet metinlerinden ürün adı, sipariş numarası ve kişi bilgilerini ayıklamak, talebi doğru ekibe yönlendirmek. • Haber ve medya izleme: bir kurum ya da kişiyle ilgili haberleri takip etmek. • Hukuk ve uyum: metinlerde kişi ve kuruluş adlarını bulmak, anonimleştirme için kişisel verileri işaretlemek. • Sağlık ve araştırma: metinlerdeki hastalık, ilaç ve ölçüm ifadelerini yapılandırmak. • İnsan kaynakları: özgeçmişlerden eğitim, deneyim ve yetkinlik bilgisini çıkarmak.

Her kullanımda önce hangi varlık türlerine ihtiyaç duyulduğu belirlenir; çünkü varlık şeması projenin kapsamını ve zorluğunu belirler.

Yaklaşımlar: kuraldan dil modeline

Kural ve sözlük tabanlı yaklaşımda desenler ve listeler kullanılır: düzenli ifadelerle telefon, e-posta, vergi numarası veya fatura numarası gibi biçimi sabit alanlar bulunur; kurum ya da ürün listesiyle eşleştirme yapılır. Hızlı ve açıklanabilirdir, ancak yeni ya da değişken ifadelerde kırılır.

Makine öğrenmesi yaklaşımında etiketli örnek metinlerle bir model eğitilir. Modern uygulamada bu genellikle önceden eğitilmiş bir dil modelinin kendi verinizle ince ayar yapılması anlamına gelir: model her sözcüğe varlık etiketi atar. Etiketleme için başlangıç, devam ve dışında şeklinde işaretleme düzeni kullanılır; böylece birden çok sözcükten oluşan ad tek varlık olarak tanınır. Hazır kütüphaneler ve Türkçe için eğitilmiş modeller başlangıç noktası olabilir, ancak alanınıza özgü varlık türleri için kendi etiketli verinizle ince ayar genellikle gerekir.

Bir başka yaklaşım, büyük dil modellerine talimat vererek çıkarım yaptırmaktır. Metni ve istenen alanların şemasını verirsiniz, model alanları yapılandırılmış biçimde döndürür. Az örnekle hızlı prototip çıkarır; ancak tutarlılık, maliyet, gecikme ve veri gizliliği açısından değerlendirilmelidir. Pratikte karma çözümler yaygındır: biçimi sabit alanlar için kural, belirsiz alanlar için model, kritik alanlar için insan doğrulaması.

Adım adım uygulama akışı

İlk adım, varlık şemasını tanımlamaktır: hangi türler çıkarılacak, her birinin sınırı nedir, belirsiz durumlarda hangi kural geçerli? Örneğin tutar ifadesine para birimi dahil mi, belirsiz kurum kısaltması nasıl etiketlenecek? Bu kararlar etiketleme kılavuzuna yazılır.

Ardından temsil edici bir örnek metin seti toplanır ve etiketlenir. Etiketlemeyi birden çok kişinin yapıp tutarlılığını karşılaştırmak, şemadaki belirsizlikleri erkenden ortaya çıkarır. Sonra temel bir yaklaşımla başlanır: önce kural ve hazır model denenir, sonuçlara bakılarak ince ayara geçilir. Değerlendirme, bağımsız bir test setinde varlık türü bazında kesinlik, duyarlılık ve ikisinin dengesini veren ölçülerle yapılır; yalnızca genel başarı yeterli değildir, çünkü nadir türlerde zayıf performans genel ortalamada saklanabilir.

Son olarak çıktı normalleştirilir. Bulunan tarih tek biçime çevrilir, kurum adının farklı yazımları aynı kayda bağlanır, tutar para birimiyle ayrıştırılır. Bu aşama bilgi çıkarımının asıl değerini üretir; çünkü ham işaretleme tek başına analize hazır veri değildir. Üretimde ise model hata oranını izlemek, belirsiz tahminleri insan incelemesine yönlendirmek ve zamanla yeni örnekleri eğitime geri beslemek gerekir.

Türkçeye özgü zorluklar

Türkçe eklemeli bir dildir; aynı kurum adı farklı hâl ekleriyle farklı yüzeysel biçimlerde görünür. Ankara'ya, Ankara'dan ve Ankara'nın aynı varlığı gösterir, ama sözcük eşleştirmesine dayanan basit yöntemler bunları ayırabilir. Özel ad ile ek arasındaki kesme işareti kullanımı tutarsız olabilir. Büyük harf, İngilizce metinlerde varlık işareti olarak yardımcıyken, Türkçede cümle başı, başlık ve kısaltmalarda bu ipucu zayıflar.

Bunlara ek olarak yaygın sözcüklerin özel ad olarak kullanılması da zorluk yaratır: bir marka adı sıradan bir sözcük olabilir. Çözüm yollarından biri, varlıkları bağlamdan tanıyan dil modellerini kullanmak, diğeri ise sözlük eşleştirmesini kök bulma ile birleştirmektir. Alan metinlerinde, örneğin hukuk ya da sağlıkta, genel amaçlı modelin kaçırdığı terimler için ek etiketli veri toplamak sonuçları belirgin biçimde iyileştirebilir.

Sık yapılan hatalar

En yaygın hata, şemayı net tanımlamadan etiketlemeye başlamaktır; farklı etiketleyiciler aynı ifadeyi farklı etiketler ve model tutarsız örneklerden öğrenir. Bir diğer hata, yalnızca genel başarı oranına bakmaktır; kritik varlık türü nadirse sorun görünmez kalır. Eğitim ve test verisinde aynı belgeden gelen cümlelerin karışması da sonuçları olduğundan iyi gösterir.

Diğer hatalar: çıktıyı normalleştirmeden raporlamaya vermek, kişisel verileri içeren metinleri veri koruma önlemi almadan harici bir hizmete göndermek, dil modeli çıktısını doğrulamadan kritik kayıtlara yazmak ve üretimdeki veri değişimini izlememek. Örneğin yeni bir ürün ya da yeni belge biçimi geldiğinde model performansı sessizce düşebilir; düzenli örnekleme ile kontrol bunu erken yakalar.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Doğal Dil İşleme (NLP) Programı modülleri arasında Doğal Dil İşlemeye Giriş ve Metin Ön İşleme, Metin Temsili ve Gömme Vektörleri, Transformer Mimarisi ve Önceden Eğitilmiş Modeller ile Bilgi Çıkarımı: Varlık Tanıma ve İlişki Çıkarma yer alır; Değerlendirme, Dağıtım ve İzleme modülü ise çıktıların ölçülmesi ve üretimde izlenmesi konusunu kapsar. Python ile Metin Analizi ve Yapay Zeka programında Token ve Gömme, Önceden Eğitilmiş Dil Modellerini Kullanma ve Prompt Engineering başlıkları, dil modeli tabanlı çıkarım yaklaşımının temelini oluşturur.

Programlar veri bilimciler, yapay zeka ve yazılım ekipleri, metin verisiyle çalışan analitik uzmanlar için uygundur. Kurumsal ekiplerde belge işleme, müşteri hizmetleri ya da uyum gibi metin yoğun iş birimleri ile veri ekibinin birlikte katılması, varlık şemasını iş ihtiyacına göre tanımlamayı kolaylaştırır.