Chain-of-thought prompt yazımı: yapay zekaya adım adım düşündürme

Zincir düşünce promptu nedir?

Zincir düşünce (chain-of-thought) yönlendirmesi, büyük dil modelinden nihai cevabı vermeden önce ara akıl yürütme adımlarını yazmasını isteme tekniğidir. Yöntemin kökeni, Wei ve arkadaşlarının yayımladığı 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models' makalesine dayanır. Makale, birkaç örnekte ara adımları gösteren yönlendirmelerin, yeterince büyük dil modellerinde aritmetik, sağduyu ve sembolik akıl yürütme görevlerinde performansı artırabildiğini bildirir.

Sezgisel mantık şudur: Çok adımlı bir soruyu tek hamlede cevaplamaya çalışan model hata yapabilir; sorunun parçalara bölünüp sırayla çözülmesi ise her adımın bir öncekine dayanmasını sağlar. İnsanlar da karmaşık bir problemi kâğıt üzerinde adım adım çözdüğünde daha az hata yapar.

İş hayatındaki karşılığı, bir analiz, hesaplama, karar karşılaştırması ya da kural uygulaması gibi çok aşamalı görevlerde modelden yöntemini göstermesini istemektir. Bu hem sonucu iyileştirebilir hem de insanın kontrol edebileceği bir iz bırakır.

Ne zaman işe yarar, ne zaman gereksizdir?

Zincir düşünce, birden fazla adım gerektiren görevlerde değer katar: hesaplama içeren sorular, koşullu mantık, birden çok kriteri tartan karşılaştırma, kural setini bir olaya uygulama, çelişkili bilgileri uzlaştırma.

Basit görevlerde ise gereksizdir ve çıktıyı uzatır: bir cümleyi çevirmek, kısa bir bilgi sormak, bir metni biçimlendirmek gibi. Bu durumlarda adım adım düşünme isteği zaman ve maliyet ekler, kaliteyi artırmaz.

Modele göre de değişir. Akıl yürütmeyi kendi içinde yapacak biçimde tasarlanmış modellerde 'adım adım düşün' komutu gereksiz ya da etkisiz olabilir; modelin kendi akıl yürütme davranışına uygun, görevi net tanımlayan bir yönlendirme çoğu zaman yeterlidir. Hangi yaklaşımın işe yaradığını kendi görevinizde test ederek görün.

Örneksiz yönlendirme

En basit biçim, görev tanımına adım adım ilerlemesini isteyen bir yönerge eklemektir. Örneğin 'Önce verilen bilgileri listele, sonra hesaplamayı adım adım yap, en sonda cevabı tek cümleyle ver' gibi.

Yalnızca 'adım adım düşün' demek çoğu zaman yetersizdir. Daha etkili olan, hangi adımların izleneceğini belirtmektir:

• Soruyu kendi cümlelerinle yeniden ifade et
• Verilen bilgileri ve eksik bilgileri ayır
• Çözüm için kullanacağın yöntemi seç ve gerekçesini yaz
• Hesaplamayı ya da değerlendirmeyi adım adım yürüt
• Sonucu bir kontrolden geçir
• Nihai cevabı ayrı bir satırda ver

Bu yapı modelin akıl yürütmesini yönlendirir ve sonucu denetlemeyi kolaylaştırır. Alan bilgisine göre adımları uyarlayın: bir hukuk metnini yorumlarken adımlar kural, olay, uygulama ve sonuç olabilir; bir finansal karşılaştırmada ise varsayım, hesap ve duyarlılık kontrolü.

Örnekli yönlendirme (few-shot)

Makalenin gösterdiği yaklaşım, yönlendirmeye çözülmüş birkaç örneği ara adımlarıyla birlikte eklemektir. Model, gösterilen akıl yürütme biçimini yeni soruya uygular. Bu yöntem, çıktının biçimini ve akıl yürütme düzeyini sıkı denetlemek istediğinizde işe yarar.

Örnek hazırlarken şunlara dikkat edin: Örnekler gerçek görevinize benzemeli. Ara adımlar eksiksiz ve doğru olmalı; yanlış bir örnek, yanlış akıl yürütmeyi öğretir. Örneklerde farklı durumlar gösterilmeli ki model tek kalıba takılmasın. Sonda cevap, adımlardan açıkça ayrılmalı.

Örneğin bir destek ekibi, müşteri talebinin hangi politika maddesine girdiğini belirleten bir yönlendirme yazıyor olsun. Örnekte talep, ilgili maddeler, her maddenin koşulları, hangi koşulların sağlandığı ve sonuç sırayla yazılır. Model yeni talepte aynı yolu izler ve karar gerekçesini kayda geçirir.

Çok sayıda uzun örnek yönlendirmeyi şişirir ve modelin odağını dağıtabilir. Birkaç iyi seçilmiş örnek, çok sayıda zayıf örnekten daha etkilidir.

Çıktı biçimi ve doğrulama

Akıl yürütme adımlarını nihai cevaptan ayırmak, çıktıyı kullanmayı kolaylaştırır. Örneğin yönlendirmede 'Önce Düşünce bölümünde adımları yaz, sonra Cevap başlığı altında yalnızca sonucu ver' diye istenebilir. Bir uygulamaya entegre ederken yalnızca cevap bölümü kullanıcıya gösterilir, adımlar kayıt ya da denetim için saklanır.

Doğrulama adımını yönlendirmeye ekleyin: 'Cevabı verdikten sonra hesaplamanı bir kez daha kontrol et ve tutarsızlık varsa belirt' gibi. Bu, hatayı yakalama şansını artırır, ancak hatasızlık sağlamaz.

Önemli bir sınır: modelin yazdığı akıl yürütme, her zaman sonuca ulaşırken gerçekten izlediği yolu yansıtmayabilir; makul görünen ama yanlış bir gerekçe de üretilebilir. Bu yüzden zincir düşünce çıktısı bir kanıt değil, insan incelemesi için bir ipucu olarak değerlendirilmelidir. Kritik kararlarda sonuç bağımsız olarak doğrulanmalıdır.

Sık yapılan hatalar

En yaygın hata, zincir düşünceyi her göreve uygulamaktır. Basit işlerde bu, uzun ve gereksiz çıktı demektir.

Diğer hatalar:

• Yalnızca 'adım adım düşün' yazıp adımların ne olacağını belirtmemek
• Hatalı ya da eksik adımlı örnekler kullanmak
• Modelin gerekçesini otomatik olarak doğru kabul etmek
• Akıl yürütme ile nihai cevabı karıştırıp çıktıyı işlenemez hale getirmek
• Hiç test etmeden yönlendirmeyi üretime almak
• Gizli veya hassas bilgiyi akıl yürütme çıktısında açığa çıkarmak: adımlar da veri içerebilir

Çözüm, yönlendirmeyi gerçek örnek verilerle denemek, hatalı çıktıları inceleyip yönlendirmeyi iyileştirmek ve sonuçları sürüm numarasıyla kayıt altına almaktır.

Öğrenme yolu ve Mindset bağlamı

Başlangıçta açık bir görev tanımı, bağlam ve çıktı biçimi vermeyi öğrenin; zincir düşünce bunun üstüne eklenen bir tekniktir. Ardından örnekli yönlendirme, rol verme ve çıktı biçimlendirme tekniklerini birlikte deneyin. İleri düzeyde yönlendirme zincirleme, doğrulama adımları, değerlendirme setiyle sistematik test ve farklı modellerde davranış karşılaştırması gelir.

Mindset'in Prompt Engineer Programı müfredatında Zincir Düşünce ve Gelişmiş İstem Teknikleri, Model Bazlı İstem Optimizasyonu, İstem Güvenliği ve Yönetim Çerçevesi ile İstem Mühendisliği Proje Atölyesi modülleri bulunur. Prompt Mühendisliği: Kurumsal Verimlilik Programı ise Gelişmiş Prompt Teknikleri, Prompt Optimizasyonu ve Kalite Kontrolü ile Departmana Özel Prompt Uygulamaları modüllerini içerir. Programlar yapay zeka araçlarını işlerinde sistematik kullanmak isteyen analist, uzman ve ekip liderleri için uygundur.