Kosinüs benzerliği: vektörlerin yönüne bakarak anlam yakınlığını ölçmek

Kosinüs benzerliği nedir?

Kosinüs benzerliği, bir çift vektörün birbirine ne kadar benzediğini aralarındaki açının kosinüsüyle ölçen bir yöntemdir. Vektörlerin uzunluğuna değil, işaret ettikleri yöne bakar. Aynı yöne bakan vektörler çok benzer sayılır, birbirine dik olanlar ilişkisiz, ters yöne bakanlar zıt kabul edilir.

Metin ve görsel gibi verilerin sayısal vektörlere (embedding) dönüştürüldüğü yapay zeka uygulamalarında anlamca yakın içerikleri bulmanın en yaygın ölçüsüdür.

Nasıl hesaplanır?

Formül, vektörlerin iç çarpımının (dot product) uzunluklarının çarpımına bölünmesidir:

kosinüs benzerliği = (A · B) / (|A| × |B|)

Pay, vektörlerin aynı yönde ne kadar hizalandığını verir. Payda ise uzunlukları normalleştirir, böylece büyük vektörler yalnızca büyük oldukları için yüksek skor almaz. Sonuç, vektör uzunluğundan bağımsız bir yön benzerliğidir.

Bazı sistemler mesafe olarak ifade eder: kosinüs mesafesi, bir değerinden benzerliğin çıkarılmasıyla elde edilir. Benzerlik arttıkça mesafe azalır.

Örnek: cümlelerin yakınlığı

Örneğin bir embedding modeli, müşteri destek sistemindeki cümleleri vektöre dönüştürüyor. Parolamı unuttum ve hesabıma giremiyorum cümleleri farklı kelimeler kullansa da vektörleri hemen hemen aynı yöne bakar: kosinüs benzerlikleri yüksektir. Faturamda hata var cümlesinin vektörü ise farklı bir yöne bakar ve benzerlik düşük çıkar.

Bir kullanıcı sorusu geldiğinde sistem sorunun vektörünü hesaplar, bilgi tabanındaki yazıların vektörleriyle kosinüs benzerliğini karşılaştırır ve en yüksek skorlu yazıları getirir. Anahtar kelime eşleşmesi gerekmeden anlam yakınlığı yakalanır. Örnek kurgusaldır.

Neden Öklid mesafesi yerine kosinüs?

Öklid mesafesi, noktaların aralarındaki düz çizgi uzaklığını ölçer ve vektör uzunluğundan etkilenir. Metinde uzun bir belge ile kısa bir belge aynı konuyu anlatsa da vektör uzunlukları farklı olabilir. Kosinüs benzerliği uzunluğu yok sayarak asıl konu yakınlığını yakalar.

Vektörler önceden birim uzunluğa normalleştirilmişse iç çarpım, kosinüs benzerliğiyle aynı sıralamayı verir; bu yüzden birçok sistem önce normalleştirir, sonra daha hızlı iç çarpımı kullanır. Hangi ölçünün seçileceği çoğunlukla embedding modelinin nasıl eğitildiğine bağlıdır ve model belgesinde belirtilir.

Sınırları ve dikkat edilecekler

Kosinüs benzerliği anlamsal bir yakınlık tahminidir, doğruluk garantisi değildir. Embedding modeli alanınıza uygun değilse benzer görünen ama ilgisiz sonuçlar getirebilir. Olumsuzlama gibi ince farklılıkları bazı modeller yakalayamaz: bir şey iyi cümlesi ile iyi değil cümlesi birbirine yakın çıkabilir.

Eşik seçimi de önemlidir. Benzerlik skoru tek başına evrensel bir anlam taşımaz; bir modelde yüksek sayılan değer başka bir modelde ortalama olabilir. Eşiği kendi verinizde etiketli örneklerle ayarlamak gerekir. Çok yüksek boyutlu vektörlerde ve çok büyük veri kümelerinde tam karşılaştırma yavaştır, bu yüzden yaklaşık en yakın komşu araması kullanılır.

Nerelerde kullanılır?

Anlamsal arama, öneri sistemleri, tekrar eden içeriği bulma, doküman kümeleme ve RAG (geri getirme destekli üretim) mimarilerinde bağlam parçalarını seçmek için kullanılır. Vektör veritabanları bu ölçüyü indekslerine yerleştirir ve çok büyük vektör kümeleri arasından en yakınları hızla getirir.

Metin benzerliği dışında görseller, ses ve kullanıcı davranışı da vektörlere dönüştürülüp aynı ölçüyle karşılaştırılabilir.

Mindset programlarında nerede çalışılır?

Vektör Veritabanları ve Embedding Stratejileri programı, vektör temsili ve embedding temellerinden yaklaşık en yakın komşu arama algoritmalarına, metadata filtrelemeye ve hibrit aramaya uzanır. Embedding Stratejileri programı metin ve çok modlu embedding modellerini, seçim kriterlerini ve anlamsal aramayı ele alır.

Kurum İçi Bilgiyle Konuşan Yapay Zeka: RAG ve Vektör Veritabanları programı kurumsal doküman işleme boru hattını ve RAG sistemi değerlendirmesini; Vektör Veritabanı Ölçekleme ve İndeksleme programı pgvector ve Milvus ile uygulama ve performans testini kapsar. Veri mühendisleri, yapay zeka geliştiricileri ve arama sistemi kuran ekipler için uygundur.