Voice agent nasıl geliştirilir? Sesli yapay zeka asistanı adımları

Sesli yapay zeka asistanı nedir, sohbet botundan farkı ne?

Sesli yapay zeka asistanı (voice agent), kullanıcıyla konuşarak diyalog kuran, konuşmayı anlayıp bir iş yapan ve cevabı ses olarak veren yazılımdır. Telefon hattında randevu alan, sipariş durumunu söyleyen, ilk karşılamayı yapan ya da bir uygulamada sesli komutla işlem başlatan sistemler bu sınıfa girer.

Yazılı sohbet botundan farkı, zamanın gerçek olmasıdır. Yazıda kullanıcı cevap bekleyebilir, sesli görüşmede birkaç saniyelik sessizlik bile doğal akışı bozar. Konuşma sırası alma, araya girme, kesilen cümleyi yarıda bırakma, gürültüyü ayıklama ve telefonun dar ses bandı gibi konular yalnızca ses dünyasının sorunlarıdır. Bu yüzden sesli asistan geliştirmek, yazılı bir botun üzerine ses eklemekten ibaret değildir; diyalog tasarımı da mimarisi de farklı düşünülmelidir.

Temel mimari: katmanlı hat ve uçtan uca modeller

Klasik mimaride ses şu katmanlardan geçer: • Konuşma tanıma: kullanıcının sesi metne çevrilir • Diyalog ve karar katmanı: metin bir büyük dil modeline ya da kural tabanlı diyalog yöneticisine gider; model niyeti anlar, gerekirse bir araç çağırır (randevu sistemi, sipariş sorgusu, bilgi tabanı) ve cevabı yazar • Ses sentezi: cevap metni konuşmaya dönüştürülür

Bu yapı katmanların ayrı ayrı seçilmesine, test edilmesine ve değiştirilmesine izin verir. Örneğin ses tanıma sağlayıcısını değiştirirken diyalog katmanınıza dokunmazsınız. Dezavantajı, her katmanın gecikmesinin toplanmasıdır.

Alternatif olarak sesi doğrudan işleyip sesle cevap veren uçtan uca modeller vardır. Bunlar gecikmeyi ve ton aktarımını iyileştirebilir, ama denetim ve gözlemlenebilirlik daha zordur: araya hangi kuralı koyacağınız, hangi cümlenin neden söylendiğini nasıl göreceğiniz önceden planlanmalıdır. Kurumsal projelerde çoğunlukla katmanlı yapı, denetlenebilirliği nedeniyle tercih edilir; seçim kullanım senaryosuna ve kabul edilebilir gecikmeye göre yapılır.

Konuşma tasarımı ve diyalog yönetimi

Sesli asistanın kalitesi büyük ölçüde konuşma tasarımıyla belirlenir. Önce kapsamı dar tutun: asistanın hangi görevleri yaptığı, hangilerini yapmayıp insana devrettiği yazılı olmalıdır.

Tasarım adımları: • Kullanıcı niyetlerini ve her niyet için gereken bilgileri çıkarın (örneğin randevu için ad, tarih, şube) • Her görev için ideal akışı yazın, ardından sapmaları ekleyin: kullanıcı konuyu değiştirirse, bilgiyi eksik verirse, fikrini değiştirirse ne olur? • Sesli ortama uygun kısa cümleler kurun; ekranda kabul edilebilir uzun listeler sesle dinlenemez • Anlaşılmayan durumlar için kademeli geri dönüş planlayın: önce yeniden sorma, sonra farklı biçimde sorma, sonra insana aktarma • Onay noktalarını belirleyin: ödeme, iptal, kişisel veri değişikliği gibi kritik işlemlerde asistan söyleneni geri okuyup onay almalı

Araya girme (barge-in) özelliği doğal hissin parçasıdır: kullanıcı konuşmaya başlayınca asistan susmalıdır. Konuşmanın bitip bitmediğini anlama (tur alma) ise en incelikli konudur; kullanıcı düşünürken kesilmemeli, cevap bekliyorken de uzun süre sessizlik olmamalıdır.

Gecikme, ses kalitesi ve model seçimi

Konuşmada kullanıcı, kendi sözünü bitirdikten sonra cevabı hızlı bekler. Tanıma, model ve sentezden oluşan hattın toplam gecikmesini düşürmek için başvurulan yöntemler: • Ses akışını parça parça tanımaya vermek, cümle bitmeden işlemeye başlamak • Modelin cevabını parça parça üretip sentez katmanına akıtmak, tüm cevabın bitmesini beklememek • Sık kullanılan açılış ve onay cümleleri için önceden üretilmiş sesler kullanmak • Basit görevlerde daha küçük ve hızlı modeller, karmaşık görevlerde daha güçlü modeller tercih etmek • Dış sistem çağrıları sürerken "kontrol ediyorum" gibi dolgu cümlesiyle sessizliği doldurmak

Ses seçiminde marka tonuna uygun, anlaşılır ve Türkçe telaffuzu tutarlı bir ses bulmak gerekir. Özel ad, sayı ve kısaltmaların okunuşu mutlaka test edilmeli; gerekirse telaffuz sözlüğü kullanılmalıdır. Ses kalitesi telefon hattında ayrıca denenmelidir, çünkü stüdyoda iyi duyulan ses hatta bozulabilir.

Telefon ve çağrı merkezi entegrasyonu

Birçok sesli asistan telefon üzerinden çalışır. Bu nedenle telefon altyapısıyla bağlantı kurmak ayrı bir iş kalemidir: gelen aramanın asistana yönlendirilmesi, ses akışının ilgili hat protokolüyle alınıp verilmesi, tuş sinyallerinin (DTMF) işlenmesi ve gerektiğinde aramanın insan temsilciye aktarılması.

Çağrı merkezi ortamında şu noktalar önemlidir: • Aktarım: asistan çözemediğinde görüşmeyi temsilciye aktarırken konuşma özetini de iletmeli; müşteri sorunu yeniden anlatmak zorunda kalmamalı • Mevcut sistemlerle bağlantı: müşteri kaydı, sipariş durumu, randevu takvimi gibi sistemlere güvenli arayüzle erişim • Yoğunluk: eşzamanlı arama sayısına göre ölçekleme • Raporlama: kaç görüşme çözüldü, kaçı aktarıldı, hangi niyetlerde başarısızlık var

Asistanın başarısı yalnızca doğru anlamasıyla değil, doğru zamanda bırakmasıyla da ölçülür. Aktarım ölçütlerini baştan belirleyin: kullanıcı açıkça insan isterse, duygusal gerilim yükselirse ya da asistan tekrar tekrar anlamazsa aktarın.

Güvenlik, gizlilik ve kullanıcı deneyimi

Ses görüşmeleri kişisel veri taşır. Görüşmenin yapay zeka ile yapıldığını kullanıcıya açıkça bildirmek, kayıt alınıyorsa bunu duyurmak, saklama süresini ve erişim yetkilerini belirlemek tasarımın parçasıdır. Kart numarası gibi hassas bilgiler kayıt ve metinlerden maskelenmelidir. Türkiye'de bu süreçler KVKK kapsamında ele alınır.

Güvenlik tarafında diğer bir risk, modelin yönlendirilmesidir. Kullanıcı sesle asistanı talimat dışına çıkarmaya çalışabilir. Asistanın yapabileceği işlemleri sınırlayan yetki katmanı, kritik işlemlerde kimlik doğrulama ve model çıktısının kontrol edilmesi gerekir. Dış araçlara verilen yetkiler mümkün olan en dar kapsamda tutulmalıdır.

Kullanıcı deneyimi tarafında test, tasarımın yarısıdır. Gerçek kullanıcı seslerini, farklı aksanları, gürültülü ortamları ve beklenmedik cümleleri içeren bir test seti hazırlayın. Canlıya çıktıktan sonra görüşme kayıtlarından başarısızlık örüntülerini düzenli inceleyip diyalogu iyileştirin.

Öğrenme yolu ve Mindset bağlamı

Başlangıç için bir sesli asistan yapmak yerine tek bir görevi (örneğin sipariş durumu sorgulama) seçip uçtan uca kurmak en öğretici yoldur. Sonra araya girme, aktarım ve hata durumları eklenir, en sonda ölçekleme ve izleme düşünülür.

Mindset kataloğunda Voice Agent Tasarımı eğitiminin modül başlıkları sesli yapay zeka ekosistemi, konuşma tasarımı ve diyalog yönetimi, ses teknolojileri ve model seçimi, telefon ve çağrı merkezi entegrasyonu, güvenlik ve kullanıcı deneyimi, kurumsal sesli ajan uygulamalarıdır. Speech-to-Text ve Text-to-Speech eğitimi ise ses tanıma ve ses sentezi katmanlarını ayrıntılandırır.