Python ile Öneri Sistemi Geliştirme: Veriden İlk Modele Kod Örnekleriyle

Prototipin amacı: veriden ölçülmüş ilk modele

Öneri sistemi, kullanıcıya ilgisini çekebilecek ürünü, dersi ya da içeriği tahmin edip sıralayan yazılım bileşenidir. Büyük ölçekte çalışan bir öneri hattı kurulmadan önce, bir veri bilimcinin sorması gereken daha temel bir soru vardır: elimizdeki etkileşim kaydı kişiselleştirme için yeterli sinyal taşıyor mu? Bu sorunun yanıtı, kodla kurulmuş küçük bir prototip ve dürüst bir ölçümle verilir.

Prototipin akışı birbirine bağlı adımlardan oluşur: veriyi zamana göre bölmek, kıyas için popülerlik temeli kurmak, öğe tabanlı işbirlikçi filtrelemeyi seyrek matrisle uygulamak, yeni öğeler için içerik benzerliği eklemek ve her modeli aynı test verisinde recall ile karşılaştırmak. Kod parçaları pandas, SciPy ve scikit-learn ile yazılmıştır; sütun adları örnektir ve kendi verinize göre değiştirilmelidir.

Veriyi hazırlamak: etkileşim tablosu ve zamana göre bölme

Başlangıç noktası her satırı bir etkileşim olan tablodur: kullanıcı, öğe, zaman ve olay türü (görüntüleme, sepete ekleme, satın alma). Aynı kullanıcı aynı öğeyle defalarca etkileşmişse ilk modelde bunları tekilleştirmek işi sadeleştirir.

import pandas as pd olaylar = pd.read_csv('olaylar.csv', parse_dates=['zaman']) olaylar = olaylar.drop_duplicates(['kullanici', 'oge']) train = olaylar[olaylar['zaman'] < kesim] test = olaylar[olaylar['zaman'] >= kesim]

Buradaki kesim, test dönemi olarak ayrılan son haftanın ya da son ayın başlangıç tarihidir. Veriyi rastgele değil zamana göre bölmek kritik önemdedir: rastgele bölmede model, gelecekte olacak etkileşimleri eğitimde görür ve skor olduğundan yüksek çıkar. Test dönemine yalnız eğitim döneminde de görünen kullanıcıları almak, işbirlikçi modelin değerlendirilebilmesi için gerekir; yeni kullanıcılar ayrıca ölçülür.

Kıyas noktası: popülerlik temeli

Her öneri modeli önce en basit rakibini geçmek zorundadır. En çok etkileşim alan öğeleri, kullanıcının daha önce görmediklerinden önermek şaşırtıcı derecede güçlü bir temeldir.

populer = train['oge'].value_counts().index def populer_oner(goruldu, k): return [o for o in populer if o not in goruldu][:k]

Bu fonksiyon kullanıcının daha önce gördüğü öğeleri listeden çıkarır ve kalan en popüler öğeleri döndürür. Geliştirdiğiniz her model bu temelle aynı test verisinde karşılaştırılmalıdır. Karmaşık bir modelin popülerlik temelini anlamlı biçimde geçemediği durumlar sanıldığından sıktır; bu sonuç, verinin kişiselleştirme için yeterli sinyal taşımadığını ya da modelin yanlış kurulduğunu gösterir.

Öğe tabanlı işbirlikçi filtreleme: seyrek matris ve kosinüs benzerliği

Öğe tabanlı yaklaşımda iki öğe, aynı kullanıcılar tarafından birlikte tercih edildikçe birbirine benzer sayılır. Kullanıcı ve öğe kimlikleri sayısal indekslere çevrilir, etkileşimler seyrek bir matrise yerleştirilir ve öğe sütunları arasındaki kosinüs benzerliği hesaplanır.

import numpy as np from scipy.sparse import csr_matrix from sklearn.metrics.pairwise import cosine_similarity k_kat = train['kullanici'].astype('category') o_kat = train['oge'].astype('category') matris = csr_matrix((np.ones(len(train)), (k_kat.cat.codes, o_kat.cat.codes))) benzerlik = cosine_similarity(matris.T, dense_output=False) def oner(u, k): skor = (matris[u] @ benzerlik).toarray().ravel() skor[matris[u].indices] = -np.inf return np.argsort(-skor)[:k]

cosine_similarity, Y verilmediğinde X'in satırlarını kendi aralarında karşılaştırır; matrisin devriği verildiği için satırlar öğelerdir. dense_output=False, iki girdi de seyrek olduğunda sonucu seyrek matris olarak döndürür ve bellek tüketimini düşürür. oner fonksiyonu kullanıcının etkileşim satırını benzerlik matrisiyle çarpar, gördüğü öğeleri eksi sonsuzla eler ve en yüksek skorlu öğelerin indekslerini döndürür; indeksleri ürün kimliğine geri çevirmek için o_kat.cat.categories kullanılır.

Yeni öğeler için içerik benzerliği eklemek

İşbirlikçi model, hiç etkileşim almamış yeni bir öğeyi öneremez. Yeni yayımlanan bir ders ya da kataloğa yeni giren bir ürün için öğenin açıklama metninden içerik benzerliği hesaplanabilir:

from sklearn.feature_extraction.text import TfidfVectorizer vektorler = TfidfVectorizer().fit_transform(katalog['aciklama']) icerik_benzerlik = cosine_similarity(vektorler, dense_output=False)

Burada katalog her satırı bir öğe olan tablodur. Pratikte iki skor birleştirilir: etkileşimi yeterli olan öğelerde işbirlikçi skor ağır basar, yeni öğelerde içerik skoru devreye girer. Ağırlığı sezgiyle değil, aynı zamana göre bölünmüş test verisinde farklı değerleri deneyerek seçin. İçerik benzerliği tek başına kullanıcıyı hep benzer öğeler arasında tutar; bu yüzden çeşitlilik ayrıca izlenmelidir.

Çevrimdışı değerlendirme: recall ile karşılaştırma

Her kullanıcı için modelin önerdiği ilk k öğeden kaçının test döneminde gerçekten etkileşim aldığı ölçülür:

def recall_at_k(oneriler, gercek, k): isabet = len(set(oneriler[:k]) & set(gercek)) return isabet / min(k, len(gercek))

Bu değer tüm test kullanıcıları üzerinde ortalanır ve popülerlik temeli, işbirlikçi model ve birleşik model için aynı k ile ayrı ayrı hesaplanır. Yalnız ortalamaya bakmayın: kullanıcıları etkileşim sayısına göre gruplayıp ayrı ölçmek, modelin az verili kullanıcılarda temelden kötü olduğunu ortaya çıkarabilir. Önerilen öğelerin katalogun ne kadarını kapsadığı da hesaplanmalıdır; yalnız popüler öğeleri öneren bir model yüksek recall ile düşük kapsama gösterebilir.

Sonuçları her model için aynı tabloda raporlayın: ortalama recall, az ve çok etkileşimli kullanıcı gruplarındaki recall ve katalog kapsaması yan yana durduğunda, birleşik modelin hangi kullanıcılar için gerçekten fark yarattığı açıkça görülür. Bu tablo, prototipin bir sonraki aşamaya taşınmaya değip değmediği kararının dayanağıdır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Tavsiye Sistemleri (Recommendation Engines) programı, öneri modelini kendi verisiyle kurmak ve ölçmek isteyen veri bilimciler ve analistler için doğrudan karşılıktır: işbirlikçi ve içerik tabanlı yöntemleri, hibrit yapıları ve değerlendirmeyi uygulamalı olarak işler. Prototipten sonraki aşama olan derin öğrenmeli modeller, sıralama katmanı ve üretim altyapısı da aynı programda ele alınır.