LangChain ile yapay zeka uygulaması nasıl geliştirilir?

LangChain nedir, ne işe yarar?

LangChain, büyük dil modelleriyle (LLM) çalışan uygulamalar geliştirmek için kullanılan açık kaynaklı bir çerçevedir. Model çağrısı, istem (prompt) şablonları, çıktı ayrıştırma, harici veri kaynaklarına bağlanma ve araç kullanımı gibi tekrar eden parçalar için hazır bileşenler sunar. Böylece her projede aynı bağlantı kodunu baştan yazmak gerekmez.

LangChain tek başına bir model değildir; modelleri, veri kaynaklarını ve araçları birbirine bağlayan bir katmandır. Durumlu ve çok adımlı ajan akışları için aynı ekosistemde LangGraph da yer alır. Basit bir senaryo için doğrudan model API'sini çağırmak yeterli olabilir; çerçevenin değeri, birden fazla adımı, veri kaynağını ve aracı bir arada yönetmeniz gerektiğinde ortaya çıkar.

Adım adım: ilk LangChain uygulaması

• Amacı tanımlayın: Uygulama bir soruya yanıt mı veriyor, belgelerde mi arıyor, bir iş mi yapıyor? Bu, hangi bileşenlerin gerektiğini belirler.
• Modeli ve ortamı hazırlayın: Kullanılacak model sağlayıcısını seçin, anahtarları ortam değişkeni olarak güvenli biçimde yönetin.
• İstemi tasarlayın: Rol, görev, bağlam ve çıktı biçimini içeren bir istem şablonu yazın.
• Zinciri kurun: İstem, model ve çıktı ayrıştırıcıyı bir boru hattında birleştirin.
• Veri ekleyin: Kendi belgelerinizi bağlamak gerekiyorsa RAG yapısını ekleyin.
• Araçlar ve ajan ekleyin: Model arama yapabilsin, hesaplama çağırabilsin veya bir API'yi tetikleyebilsin istiyorsanız araç tanımlayın.
• Test edin: Gerçek soru örnekleriyle çıktıyı değerlendirin ve istemi iyileştirin.

İlk sürüm için küçük başlayın: tek bir istem, tek bir model ve çıktı ayrıştırıcıdan oluşan bir zincirle çalışan bir uç nokta kurun. Çalıştığını örnek sorularla doğruladıktan sonra veri ve araç bileşenlerini birer birer ekleyin. Her eklemeden sonra aynı soru kümesini yeniden çalıştırmak, hangi bileşenin sonucu bozduğunu bulmayı kolaylaştırır.

RAG: kendi verinizle yanıt üretmek

RAG (Retrieval-Augmented Generation), modelin yanıt vermeden önce sizin belgelerinizden ilgili parçaları getirip bağlam olarak kullanmasıdır. Belgeler parçalara ayrılır, sayısal gösterimlere (embedding) dönüştürülür ve bir vektör veritabanında saklanır. Kullanıcı soru sorduğunda en ilgili parçalar bulunur ve istemin içine eklenir.

Böylece model, eğitim verisinde bulunmayan şirket içi bilgilere dayalı yanıt verebilir ve kaynak gösterebilir. Başarı ağırlıklı olarak veri hazırlığına bağlıdır: parçaların boyutu, belgelerin temizliği, arama kalitesi ve istemin modele yalnızca verilen bağlama dayanmasını söylemesi sonucu belirler.

RAG kalitesini artıran somut ayarlar şunlardır: belgeyi başlık ve bölüm sınırlarına göre parçalamak, her parçaya kaynak adı ve bölüm gibi üst veri eklemek, arama sonucunda dönen parça sayısını deneyle belirlemek ve yanıtta kaynak göstermek. Yanıt yanlışsa önce modele değil, aramanın doğru parçayı getirip getirmediğine bakılır; sorun çoğu zaman oradadır.

Ajanlar, araçlar ve bellek

Ajan, modelin hedefe giderken hangi aracı ne zaman çağıracağına kendisinin karar verdiği yapıdır. Araç, bir fonksiyon, bir arama servisi ya da bir API olabilir. Model, görev için gereken aracı seçer, sonucu okur ve bir sonraki adıma karar verir.

Ajanlar güçlüdür ama öngörülemezlik riski taşır. Araçların yetkisini sınırlamak, kritik işlemler için insan onayı eklemek ve adım sayısını sınırlamak güvenlik açısından önemlidir. Konuşma boyunca bağlamı korumak için bellek bileşenleri kullanılır: son mesajları saklayan basit bellekten, uzun konuşmaları özetleyen yapılara kadar seçenekler vardır. Bellek büyüdükçe maliyet ve gecikme de arttığı için neyin saklanacağı bilinçli seçilmelidir.

Araç tanımlarken ad ve açıklamayı dikkatle yazın: model, hangi aracı çağıracağına bu açıklamaya bakarak karar verir. Girdi şemasını dar tutun, araç hata döndürdüğünde modele anlaşılır bir hata mesajı iletin ve her çağrıyı kaydedin. Böylece ajanın neden yanlış araca gittiği sonradan izlenebilir.

Somut örnek: şirket içi doküman asistanı

Örneğin bir şirket, insan kaynakları politikaları ve süreç dokümanları üzerinde soru yanıtlayan bir asistan istiyor olsun. Belgeler yüklenir, parçalara ayrılır ve vektör veritabanına yazılır. Kullanıcı bir soru yazdığında sistem ilgili parçaları bulur, modele kaynak olarak verir ve yanıtı hangi belgeden aldığını göstererek döndürür.

Ek olarak kullanıcının rolüne göre erişilebilecek belgeleri sınırlamak, bulunamayan konularda uydurmak yerine "bu konuda bilgi bulamadım" diyecek şekilde istemi kurmak ve geri bildirim düğmesi ile kötü yanıtları toplamak uygulamayı olgunlaştırır.

Üretime alma ve sık yapılan hatalar

Prototipten üretime geçerken gözlemlenebilirlik, hata yönetimi, maliyet kontrolü ve güvenlik öne çıkar. Her model çağrısının girdisi, çıktısı ve süresi kaydedilmeli; zaman aşımı ve yeniden deneme kuralları tanımlanmalı; çıktılar belirli bir şemaya göre doğrulanmalıdır.

• Çerçeveyi gereksiz yere kullanmak: Basit bir çağrı için karmaşık zincir kurmak bakımı zorlaştırır.
• Değerlendirme yapmamak: Çıktıyı gözle bakıp onaylamak yerine örnek soru kümesiyle ölçmek gerekir.
• Veriyi temizlemeden vektöre yüklemek: Düşük kaliteli arama sonucu, kötü yanıt demektir.
• Anahtarları koda gömmek: Gizli bilgiler ortam değişkenlerinde veya gizli yönetim servisinde tutulmalıdır.
• Sınırsız ajan özgürlüğü: Yetkisiz işlem riskini artırır.
• Sürüm farklarını görmezden gelmek: Çerçeve hızlı değişir; sürümleri sabitleyin ve güncellemeleri test edin.

Değerlendirme için gerçek kullanıcı sorularından oluşan küçük bir referans küme hazırlayın ve her sürümde aynı kümeyi çalıştırın. Her soru için beklenen kaynak belge ve yanıtta bulunması gereken bilgi yazılırsa, istem ya da arama ayarı değiştiğinde kalitenin düşüp düşmediği gözle değil karşılaştırmayla görülür.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Mindset kataloğundaki "LangChain ile Yapay Zeka Uygulama Geliştirme" eğitiminin modülleri LangChain temelleri ve kurulum, zincirler ve boru hatları, LangChain ile RAG geliştirme, LangChain ajanları ve araçlar, bellek ve durum yönetimi ile LangChain üretim dağıtımıdır.