Embedding (gömme vektörü) nedir, nasıl çalışır?

Embedding nedir?

Embedding (gömme ya da gömme vektörü), bir kelimenin, cümlenin, belgenin ya da görselin anlamını bir sayı dizisine, yani vektöre dönüştüren temsildir. Bilgisayar metni doğrudan anlamlandıramaz; embedding, anlam olarak yakın şeylerin sayısal uzayda da yakın durmasını sağlar.

Bu yüzden iki farklı ifade, aynı kelimeleri içermeseler bile, benzer vektörlere sahip olabilir. Örneğin araç kiralama ile otomobil tutma ifadeleri uzayda birbirine yakın, çorba tarifi ifadesi ise uzak konumlanır.

Nasıl üretilir?

Embedding, çok miktarda veriyle eğitilmiş bir modelden alınır. Metin için bu genellikle bir dil modelinin bir bölümüdür; görsel için görüntü modelleri, ikisi için birlikte çok modlu modeller kullanılır. Model girdiyi alır ve sabit uzunlukta bir vektör verir.

Vektör uzunluğu (boyut) modele bağlıdır. Boyut büyüdükçe daha ince anlam ayrımı taşınabilir, ancak depolama ve arama maliyeti de artar. Model seçimi dil, alan ve maliyet dengesine göre yapılır.

Benzerlik nasıl ölçülür?

İki vektörün ne kadar yakın olduğu bir uzaklık ya da benzerlik ölçüsüyle hesaplanır. En yaygın yöntemlerden biri kosinüs benzerliğidir; iki vektör arasındaki açıya bakar. Açı küçüldükçe anlam olarak daha benzerdir.

Bir sorgu geldiğinde de aynı modelle sorgunun embedding'i çıkarılır ve veri tabanındaki belge vektörleriyle karşılaştırılarak en yakın olanlar getirilir. Bu işleme anlamsal arama denir; kelime eşleştirmeye dayalı klasik aramadan farkı budur.

Küçük bir örnek

Örneğin bir şirketin iç yardım masası belgeleri parçalara bölünür ve her parçanın embedding'i bir vektör veri tabanına kaydedilir. Çalışan sorusunu yazdığında soru da vektöre çevrilir ve anlamca en yakın parçalar bulunur. Çalışan şifremi unuttum yerine hesabıma giremiyorum yazsa bile ilgili parça bulunabilir.

Bu mantık, bulunan parçaların bir dil modeline bağlam olarak verildiği RAG (retrieval-augmented generation) sistemlerinin temelini oluşturur.

Nerelerde kullanılır?

• Anlamsal arama ve belge getirme.
• RAG sistemlerinde bağlam bulma.
• Öneri sistemleri: benzer ürün, içerik ya da kullanıcı bulma.
• Kümeleme ve sınıflandırma: benzer destek taleplerini gruplama.
• Mükerrer ya da benzer içerik tespiti.
• Görsel ve metin arasında eşleştirme (çok modlu kullanım).

Bu işlerde embedding'in kalitesi, getirilen sonuçların kalitesini doğrudan belirler.

Hangi eğitimlerde işlenir?

Yapay zeka mühendisleri, veri bilimciler ve arama sistemleri geliştiren yazılımcılar embedding ile çalışır. Mindset'te Embedding Stratejileri eğitimi embedding temelleri, model türleri ve seçim kriterleri, çok modlu embedding ve üretimde yönetim başlıklarını işler. Vektör Veritabanları ve Embedding Stratejileri eğitimi vektör temsili, yaklaşık en yakın komşu arama ve metadata filtreleme konularını, Retrieval-Augmented Generation (RAG) Sistemleri eğitimi ise embedding modelleri ve vektör indekslemeyi RAG boru hattının içinde ele alır.