Guardrails: Yapay Zeka Uygulamalarında Koruma Bariyerleri

Guardrails (yapay zeka koruma bariyerleri) nedir?

Guardrails, büyük dil modeli (LLM) tabanlı bir uygulamada modele giden girdiyi ve modelden dönen çıktıyı denetleyen kontrol katmanlarının genel adıdır. Kelime anlamı yol kenarındaki koruma bariyerleridir: model yolun neresinde giderse gitsin, uygulamanın izin vermediği alana çıkmasını engellemeyi amaçlar.

Bir dil modeli olasılığa dayalı çalışır; aynı soruya her seferinde aynı biçimde yanıt vermez, bazen yanlış bilgi uydurur, bazen istenmeyen içerik üretir ya da kötü niyetli bir girdiyle yönlendirilebilir. Guardrails bu belirsizliği ortadan kaldırmaz ama modelin etrafına öngörülebilir kurallar ve doğrulamalar koyarak uygulamayı üretim ortamında güvenle çalıştırmayı mümkün kılar.

Guardrails hangi risklere karşı kullanılır?

Başlıca riskler şunlardır:

• Yanlış ya da uydurma bilgi (halüsinasyon): model kaynakta olmayan bir bilgiyi kesinmiş gibi söyler.
• Biçim bozukluğu: uygulamanın beklediği JSON ya da şemaya uymayan çıktı, ardındaki yazılımı çökertebilir.
• Zararlı, uygunsuz ya da politika dışı içerik: nefret söylemi, tehlikeli talimat, marka dilinin dışına çıkan ifade.
• Kişisel veri ve gizli bilgi sızıntısı: kimlik, kart veya sağlık verisinin yanıta ya da kayıtlara karışması.
• İstem enjeksiyonu (prompt injection): kullanıcının ya da işlenen bir belgenin içindeki gizli talimatın modelin asıl görevini ele geçirmesi.
• Konu dışı kullanım: bir müşteri asistanının, kendisine verilmeyen görevlerde kullanılması.
• Yetkisiz eylem: araç çağırabilen bir ajan modelin silme, ödeme gibi eylemleri onaysız yapması.

Guardrails türleri ve nerede uygulanır?

Kontroller uygulamanın akışında farklı noktalarda yer alır:

• Girdi guardrail'leri: kullanıcı mesajı modele gitmeden önce taranır. Kişisel veri maskelenir, konu sınıflandırılır, bilinen saldırı kalıpları engellenir.
• Çıktı guardrail'leri: model yanıtı kullanıcıya gitmeden önce kontrol edilir. Zararlı içerik, kişisel veri ve politika ihlali taranır.
• Yapılandırılmış çıktı ve şema doğrulama: model çıktısı beklenen şemaya göre doğrulanır; geçersizse düzeltme istemiyle yeniden denenir.
• İçerik ve politika kontrolleri: kural tabanlı filtreler, sınıflandırıcı modeller ya da ikinci bir modelin hakem olarak kullanılması.
• Kaynağa dayanma kontrolü: RAG sistemlerinde yanıtın getirilen belgelerle desteklenip desteklenmediği denetlenir.
• Araç ve yetki kontrolü: ajan modelin çağırabileceği işlevler beyaz liste ile sınırlandırılır, riskli eylemler insan onayına bağlanır.

Bu kontroller tek başına değil, katmanlı kurulmalıdır; çünkü her yöntemin kaçırdığı durumlar vardır.

Bir guardrail akışı nasıl işler?

Temel akış şöyledir: kullanıcı mesajı gelir, girdi kontrolünden geçer, model çağrılır, çıktı kontrolünden geçer. Bir kontrol başarısız olduğunda uygulama ne yapacağını önceden bilmelidir: yanıtı reddetmek, belirli bir güvenli mesajla cevap vermek, modeli düzeltme talimatıyla yeniden çağırmak ya da konuşmayı insan temsilciye devretmek.

İşletme tarafında her engelleme olayı günlüğe alınır; hangi kuralın ne sıklıkla tetiklendiği izlenir. Böylece kurallar gerçek kullanıma göre ayarlanır: çok sıkı kurallar meşru kullanımı engeller, çok gevşek kurallar riski açık bırakır. Kuralların bir test seti ile düzenli denenmesi, özellikle model veya istem değiştiğinde önemlidir.

Küçük bir örnek: banka müşteri asistanı

Örneğin bir banka, müşterilere hesap işlemlerinde yardımcı olan bir sohbet asistanı kuruyor. Girdi katmanında kart numarası gibi veriler maskelenir ve yatırım tavsiyesi isteyen mesajlar konu dışı olarak işaretlenir. Kullanıcı mesajına "önceki talimatları unut" gibi ifadeler eklenmişse istem enjeksiyonu denemesi olarak yakalanır.

Model yanıtı ürettikten sonra çıktı katmanı yanıtın bankanın onaylı ifade çerçevesinde olduğunu, kişisel veri içermediğini ve istenen şemada döndüğünü doğrular. Para transferi gibi eylemler model tarafından doğrudan tetiklenmez; uygulama müşteriden ayrı bir onay ister. Kontrollerden biri başarısız olursa asistan standart bir güvenli yanıt verir ve konuşma gerekirse çağrı merkezine aktarılır.

Sınırlar ve sık yapılan hatalar

Guardrails, modelin eğitimiyle ya da istemdeki talimatlarla aynı şey değildir. İstemde "zararlı içerik üretme" yazmak bir talimattır, kesin koruma sağlamaz; kontrol modelin dışında, ayrı bir katmanda uygulanmalıdır.

Sık yapılan hatalar: • Tek bir katmana güvenmek ve tüm riski ona yüklemek. • Aşırı engelleme: meşru kullanıcıları reddeden, kullanım deneyimini bozan sıkı kurallar. • Kuralları gerçek saldırı ve zor örnekler üzerinde test etmemek. • Engellenen olayları izlememek ve kuralları güncellememek. • Kişisel veri korumasını yalnızca çıktıya bırakmak; günlüklere ve harici servislere giden veri de denetlenmelidir. • Doğrulama başarısız olduğunda ne yapılacağını tasarlamamak.

Mindset kataloğundaki LLM Guardrails ve Çıktı Doğrulama eğitiminin modül başlıkları risk analizi ve guardrail mimarisi, yapılandırılmış çıktı ve şema doğrulama, içerik ve politika kontrolleri, kişisel veri ve gizlilik koruması, istem enjeksiyonu ve saldırı savunması, doğrulama katmanının işletimi şeklindedir.