Prompt'lar nasıl sürüm kontrolüne alınır, test edilir ve yönetilir

Prompt'u neden sürüm kontrolüne almalısınız?

Bir yapay zeka uygulamasında prompt, davranışı belirleyen asıl metindir; küçük bir kelime değişikliği çıktının tonunu, biçimini ve doğruluğunu değiştirebilir. Prompt'lar kod dosyasının içinde bir metin olarak ya da bir panelde elle düzenlenen alan olarak durduğunda sorunlar başlar. Bir şeyin ne zaman ve neden bozulduğu geriye dönük izlenemez. Ayrıca çalışan bir sürüme geri dönmek bellekten yapılan bir kurtarma işlemine dönüşür.

Sürüm kontrolü bu sorunları yazılım dünyasında bilinen yöntemlerle çözer: her değişiklik kayıt altına alınır, kim yaptığı ve nedeni görünür, test edilmeden yayına çıkmaz ve gerektiğinde önceki sürüme dönülür. Prompt'ları kod gibi ele almak, uygulamaların güvenilir ve denetlenebilir kalmasının ilk şartıdır.

Neyi sürümlemelisiniz?

Yalnız prompt metni yetmez. Aynı metin farklı model veya ayarla farklı sonuç verir. Bir prompt sürümü aşağıdaki öğelerin birlikte tanımlanmış halidir:

• Sistem ve kullanıcı talimat metinleri ile içindeki değişken yer tutucuları.
• Örnekler (few-shot) ve bağlam parçaları.
• Hedef model adı ve sürümü, sıcaklık gibi üretim parametreleri.
• Çıktı biçimi şeması ve doğrulama kuralları.
• İlişkili test seti ve değerlendirme ölçütleri.
• Değişikliğin kısa gerekçesi ve sahibi.

Test setini prompt ile aynı yerde saklamak önemlidir. Aksi halde bir sürümün neden kabul edildiği sonradan anlaşılamaz. Model sağlayıcısı arka planda model güncellediğinde de, sabitlenmiş model sürümü sayesinde farkın kaynağı ayırt edilebilir.

Depolama seçenekleri: dosyalar, Git ve prompt yönetim araçları

En sade yöntem, prompt'ları uygulama kodundan ayrı metin dosyalarına koymak ve Git ile takip etmektir. Böylece mevcut kod inceleme düzeni, dallanma ve etiketleme kullanılır. Prompt'u kodun içine gömmek yerine bir şablon dosyası olarak okumak, hem metin değişikliğinin diff'te okunur olmasını hem de kodsuz değişiklik yapılabilmesini sağlar.

Ekiplerde yazılımcı olmayan kişiler de (alan uzmanı, içerik yazarı) prompt düzenliyorsa, merkezi bir prompt yönetim aracı daha uygun olur. Bu araçlar genellikle sürüm geçmişi, çalışma ortamı etiketleri (örneğin geliştirme ve üretim), karşılaştırma ve yetkilendirme sunar. Seçimde dikkat edilecek ölçütler; sürüm geçmişinin dışa aktarılabilmesi, üretim sürümüne geçişin onaya bağlanabilmesi ve loglarla eşleştirilebilmesidir.

Hangi yol seçilirse seçilsin kural aynıdır: üretimde çalışan her prompt'un kayıtlı bir sürümü olmalı ve kimse bu kaydı atlayarak canlı metni elle değiştirememelidir.

Adlandırma, değişiklik kaydı ve inceleme

Sürüm numarasında yazılım dünyasındaki mantık işe yarar: yapısal ya da davranışı değiştiren büyük bir değişiklik büyük sürüm, ton veya küçük ifade ayarı küçük sürüm olarak işaretlenir. Önemli olan, sürüm numarasının anlamının ekip içinde ortak bilinmesidir.

Her değişikliğe kısa bir kayıt yazılır: ne değişti, neden değişti, hangi sorunu çözmeyi hedefliyor, hangi testle doğrulandı. Örneğin "İade taleplerinde özetin tonu yumuşatıldı, şikâyet sınıflandırma testi tekrar çalıştırıldı" gibi bir not, aylar sonra bile değişikliğin anlaşılmasını sağlar.

Değişiklik, başka bir kişi tarafından incelenmelidir. İnceleyen kişi yalnız metne değil, test sonuçlarındaki farka da bakar. Prompt incelemesi kod incelemesi kadar ciddiye alındığında, kısa vadeli hızdan çok uzun vadeli istikrar kazanılır.

Test ve değerlendirme olmadan sürümleme eksiktir

Sürümleme yalnız başına prompt'un iyileştiğini göstermez. Bunun için sabit bir değerlendirme seti gerekir: gerçek kullanımdan seçilmiş örnek girdiler ve her biri için beklenen davranışın tanımı. Yeni sürüm bu setle çalıştırılır ve önceki sürümle karşılaştırılır.

Değerlendirme ölçütleri göreve göre değişir. Sınıflandırma görevlerinde doğru etiket oranı, özetlemede kapsam ve sadakat, biçimli çıktıda şemaya uygunluk ölçülür. Bazı kalite boyutları otomatik ölçülemez; bu durumda insan değerlendirmesi ya da başka bir modelin yargıcı olarak kullanıldığı yöntemler eklenir, ama bu yöntemler de örneklem üzerinde elle doğrulanmalıdır.

Test setindeki sonuçlar bir "kapı" olarak kullanılabilir: yeni sürüm kritik örneklerde geriye gidiyorsa yayına alınmaz. Böylece bir alanda iyileştirme yaparken başka bir alanı bozma riski görünür olur.

Dağıtım, izleme ve geri dönüş

Test geçen sürüm doğrudan tüm kullanıcılara açılmaz. Yaygın yöntem, önce küçük bir trafik dilimine vermek ya da iç kullanıcılarda denemektir. Sonuçlar iyi giderse yayılır. Üretim ortamında "aktif sürüm" bir etiketle tanımlanıyorsa, geri dönüş yalnızca etiketi eski sürüme çevirmekle yapılabilir; kodun yeniden dağıtılması gerekmez.

İzleme tarafında her model çağrısının hangi prompt sürümüyle yapıldığı kaydedilmelidir. Bir kullanıcı şikâyet ettiğinde, hangi sürümün o yanıtı ürettiğini bulmak, sorunu yeniden üretmek için ilk koşuldur. Üretimde kalite sinyalleri, örneğin kullanıcı geri bildirimi, hata oranı ve şema ihlalleri sürüm bazında izlenir.

Prompt'un yaşam döngüsü de yönetilmelidir: kullanılmayan sürümler arşivlenir, eskiyen örnekler güncellenir ve model değiştiğinde ilgili prompt'lar yeniden test edilir.

Sık yapılan hatalar

En yaygın hata, canlı sistemde bir yönetim panelinden metni doğrudan düzenlemektir; kayıt tutulmaz ve geri dönüş zorlaşır. Bir diğeri, her şeyi büyük bir prompt'ta toplamaktır; bölünmüş, küçük ve amaca özel prompt'lar hem sürümlemesi hem testi daha kolaydır. Test seti olmadan "bence daha iyi oldu" kararıyla yayına çıkmak da sık görülür.

Ayrıca modelin sürümünü sabitlememek, prompt'u değiştirmediğiniz halde davranışın kaymasına neden olur. Sorumluluğun kimde olduğunun belirsiz kalması da sorundur; her prompt'un bir sahibi olmalı. Hassas veri taşıyan prompt'larda, örnekler arasına gerçek müşteri verisi sızmaması için de gözden geçirme yapılmalıdır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Prompt Yönetimi ve Sürüm Kontrolü programı istem şablonu tasarımı, sürümleme ve dağıtım ile test, izleme ve yaşam döngüsü modüllerinden oluşur. Prompt Engineer Programı ise zincir düşünce ve gelişmiş istem teknikleri, model bazlı istem optimizasyonu, istem güvenliği ve yönetim çerçevesi ile kurumsal kullanım senaryoları başlıklarını içerir.

İçerik prompt mühendisleri, yapay zeka uygulaması geliştiren yazılım ekipleri ve ürün yöneticileri için uygundur. Kurumsal ekipler, ortak prompt'ların kim tarafından, hangi onayla değiştirileceğini belirleyen bir çalışma düzeni için bu modüllerden yararlanabilir.