Müşteri mesajının niyetini bulmak: taksonomiden ölçüme

Niyet tespiti nedir, neyi çözer?

Niyet tespiti, bir müşteri mesajının (yazılı ya da konuşulmuş) arkasındaki isteği önceden tanımlı bir listeden bir etiketle eşleştirme işidir. "Siparişim hâlâ gelmedi" cümlesi ile "paketim nerede kaldı" cümlesinin kelimeleri farklıdır, ama niyet aynıdır: sipariş durumunu öğrenmek. Niyet tespiti bu cümleleri aynı etikete bağlar.

Müşteri hizmetlerinde bu etiket birçok kararın girdisidir: chatbot hangi akışı başlatacak, talep hangi ekibe gidecek, hangi öncelikle ele alınacak, yönetim raporunda hangi başlık altında sayılacak. Niyet doğru bulunmazsa bu zincirin tamamı bozulur; yanlış akışa giren müşteri hem zaman kaybeder hem de güveni sarsılır.

Niyet tespiti ile duygu analizi birbirinden ayrılır. Niyet "ne istiyor" sorusunu, duygu "nasıl hissediyor" sorusunu yanıtlar. Bunlar birlikte kullanıldığında en anlamlı sonuç verir: iade niyetli ve öfkeli bir müşteri, iade niyetli ve sakin bir müşteriden farklı ele alınır.

Niyet listesini (taksonomi) tasarlamak

Çalışmanın en çok emek isteyen kısmı modelden önce gelir: niyet listesinin tasarımı. Başlangıç noktası gerçek veridir; geçmiş destek kayıtları, e-postalar, çağrı notları ve chat dökümleri okunur, benzer talepler kümelenir ve her kümeye ad verilir.

İyi bir taksonomi şu özellikleri taşır: • Niyetler birbirini dışlar. Bir mesajın hangi etikete gireceği konusunda farklı kişiler genellikle aynı kararı verebilmelidir. • Ayrıntı düzeyi iş kararına uygundur. "Fatura" tek bir niyet mi, yoksa "fatura kopyası iste", "fatura itirazı", "fatura adresi değiştir" olarak ayrı mı olmalı? Ayrım, farklı bir eylem ya da farklı bir ekip gerektiriyorsa yapılır. • Her listede "diğer" ya da "kapsam dışı" niyeti bulunur. Model bilmediği şeye zorla etiket yapıştırmamalıdır. • Niyetlere kısa bir tanım ve sınır örneği yazılır: "Bu etikete girer / girmez" örnekleriyle.

Liste kalabalıklaştıkça sınıflandırma güçleşir. Genellikle az sayıda yaygın niyetle başlayıp kapsamı veriyle genişletmek, baştan her şeyi kapsamaya çalışmaktan daha sağlıklıdır.

Etiketli örnek verisi hazırlamak

Niyet modelinin kalitesi, örneklerin kalitesine bağlıdır. Her niyet için gerçek müşteri ifadelerinden seçilmiş çeşitli örnekler etiketlenir: kısa ve uzun cümleler, imla hatalı yazımlar, günlük konuşma dili, eksik cümleler, kısaltmalar.

Etiketleme tek kişiye bırakılmaz. Aynı örnekleri birkaç etiketleyici bağımsız olarak işaretler, uyuşmazlıklar tartışılır ve niyet tanımı netleştirilir. Etiketleyiciler arasında sürekli uyuşmazlık çıkan niyet çiftleri çoğunlukla taksonomi sorununa işaret eder; model bunu çözemez, tanım çözer.

Veri hazırlarken kişisel bilgiler (ad, telefon, kart numarası) maskelenir. Değerlendirme için ayrılan örnekler, modeli geliştirirken kullanılan örneklerden baştan ayrı tutulur; aksi halde başarı olduğundan yüksek görünür.

Yöntem seçimi

Niyet sınıflandırmada kullanılan başlıca yaklaşımlar şunlardır:

• Kural ve anahtar kelime tabanlı: Belirli ifadeler geçtiğinde etiket atanır. Hızlı kurulur, açıklanabilirdir ama dil çeşitliliğini kaldıramaz ve bakım yükü büyür.
• Klasik makine öğrenmesi: Metin sayısal temsile çevrilir (örneğin kelime ağırlıkları) ve bir sınıflandırıcı etiketli örneklerle eğitilir. Orta ölçekli veriyle sağlam ve ucuz çalışır.
• Gömme (embedding) tabanlı: Metin anlamı yakalayan vektörlere çevrilir; sınıflandırıcı ya da en yakın örnek aramasıyla niyet bulunur. Az örnekle de makul sonuç verebilir.
• Büyük dil modeli tabanlı: Model, niyet tanımları ve birkaç örnek verilerek yönlendirilir. Esnektir, yeni niyet eklemek kolaydır; ancak tutarlılık, gecikme ve maliyet kontrol edilmelidir.

Pratikte karma çözümler yaygındır: yüksek hacimli ve net niyetler hızlı bir sınıflandırıcıyla, belirsiz ya da yeni ifadeler büyük dil modeliyle işlenir. Metin ön işleme (küçük harfe çevirme, yazım düzeltme, Türkçe ekleri işleme) özellikle klasik yöntemlerde sonucu belirgin biçimde etkiler.

Belirsizlik, çoklu niyet ve kapsam dışı

Gerçek mesajlar tertemiz tek niyet taşımaz. Müşteri tek mesajda hem iade hem adres değişikliği isteyebilir ("siparişimi iptal edip yeni adrese gönderir misiniz"). Sistem bu durumda ya baskın niyeti seçip kalanı sıraya alır ya da müşteriye hangisiyle başlamak istediğini sorar.

Sınıflandırıcı her tahminle birlikte bir güven değeri üretir. Eşik belirlenir: güven yüksekse otomatik karar verilir, orta düzeydeyse müşteriye doğrulama sorusu sorulur ("Sipariş durumunu mu öğrenmek istiyorsunuz?"), düşükse temsilciye ya da genel akışa aktarılır. Eşiğin değeri iş kararıdır: yanlış otomasyonun maliyeti yüksekse eşik sıkı tutulur.

Kapsam dışı mesajlar (alakasız sorular, küfür, spam) için ayrı bir etiket ve ayrı bir yanıt politikası gerekir. Model kapsam dışını tanımayı hiç öğrenmemişse, her mesaja en yakın niyeti yapıştırarak güvenle yanlış sonuç üretir.

Ölçüm ve bakım

Başarı, ayrılmış test örnekleri üzerinde ölçülür. Genel doğruluk tek başına yeterli değildir; niyet bazında hassasiyet (seçilenlerin kaçı doğru) ve yakalama (doğru olanların kaçı bulundu) ayrı ayrı bakılır. Karışıklık matrisi hangi niyet çiftlerinin birbirine karıştığını gösterir ve genellikle taksonomi düzeltmesinin yol haritası olur.

Yayın sonrasında da ölçüm sürer. Canlı mesajlardan örnek çekilip insanla etiketlenir ve modelin tahminiyle karşılaştırılır. Yeni ürün, kampanya ya da mevzuat değişikliği yeni niyetler doğurur; modelin bilmediği ifadeler kapsam dışı yığınında birikiyorsa bu, yeni niyet adayıdır.

Bakım ritmi tanımlanmalıdır: kim hata örneklerini inceliyor, kaç haftada bir yeniden eğitim yapılıyor, yeni niyet eklemek için hangi onay gerekiyor. Sahibi olmayan niyet listesi zamanla bayatlar.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Müşteri Hizmetlerinde Niyet Tespiti eğitiminin modül başlıkları arasında Müşteri Hizmetleri ve NLP Temelleri, Metin Ön İşleme ve Temsil Yöntemleri, Niyet Sınıflandırma Modelleri, Diyalog Yönetimi ve Sohbet Botları, LLM Destekli Müşteri Hizmetleri Otomasyonu ile Üretime Alma ve Performans Ölçümü bulunur. Yukarıdaki adımların yöntem, ön işleme ve ölçüm kısımlarıyla doğrudan örtüşür.

Yapay Zeka ile Müşteri Hizmetleri Otomasyonu eğitimi ise Otomatik Yönlendirme ve Sınıflandırma modülüyle konuyu iş akışı tarafından ele alır. Veri analisti, NLP mühendisi, müşteri deneyimi ve destek operasyonu ekipleri kendi talep kayıtlarını çalışma verisi olarak kullanabilir.