Yapay zeka çözümleri için bulut mimarisi nasıl tasarlanır

Yapay zeka çözümü için bulut mimarisi ne demektir?

Bir yapay zeka çözümü yalnızca model değildir. Verinin toplandığı, depolandığı ve hazırlandığı katman, modelin eğitildiği ya da çağrıldığı katman, sonuçların uygulamalara sunulduğu katman ve bütün bunları izleyen, güvenceye alan ve maliyetini kontrol eden katmanlar birlikte çalışır. Bulut mimarisi, bu katmanların AWS ya da Azure gibi bulut sağlayıcılarının hangi hizmetleriyle kurulacağına, birbirine nasıl bağlanacağına ve nasıl işletileceğine dair tasarım kararlarıdır.

Mimarinin ilk sorusu "hangi hizmet" değil, "hangi iş sorunu" olmalıdır. Hazır bir yapay zeka servisi (görüntü tanıma, konuşma metne çevirme, çeviri gibi) yetiyorsa özel model geliştirmeye gerek olmayabilir. Kuruma özel veriyle model eğitmek gerekiyorsa makine öğrenmesi platformu devreye girer.

Adım adım: mimari tasarım süreci

Birinci adım, kullanım senaryosunu ve kısıtları yazmaktır. Kim kullanacak, tahmin gerçek zamanlı mı yoksa toplu mu üretilecek, gecikme beklentisi ne, veri hassas mı, veri hangi ülkede kalmak zorunda, bütçe ve ekip yetkinliği nedir?

İkinci adım, veri akışını çizmektir. Veri nereden gelecek, nasıl temizlenecek, nerede saklanacak ve modele nasıl beslenecek? Çoğu yapay zeka projesinin darboğazı model değil veri hazırlığıdır; mimaride bu hat en çok emek gerektiren bölümdür.

Üçüncü adım, model stratejisini seçmektir: hazır servis kullanmak, hazır modeli kuruma uyarlamak ya da özel model eğitmek. Seçim maliyeti, süreyi ve ekip yükünü belirler.

Dördüncü adım, platformu seçmektir. Eğitimin kapsadığı sağlayıcılarda sırasıyla SageMaker ve Azure ML makine öğrenmesi platformları olarak öne çıkar. Seçimde yalnızca teknik özellik değil, kurumun mevcut bulut sözleşmesi, kimlik yönetimi, ekibin tecrübesi ve veri zaten nerede duruyor sorusu belirleyicidir.

Beşinci adım, dağıtım ve ölçeklemeyi tasarlamaktır: modelin bir servis olarak sunulması, yük arttığında nasıl ölçekleneceği, yeni model sürümüne nasıl geçileceği ve gerektiğinde nasıl geri dönüleceği.

Altıncı adım, güvenlik, uyumluluk ve maliyet kontrollerini yerleştirmektir; bunlar sonradan eklenen değil, tasarımın baştan parçası olan unsurlardır.

AWS ve Azure arasında seçim: hangi sorular sorulmalı?

Her iki sağlayıcı da veri depolama, hesaplama, makine öğrenmesi platformu ve hazır yapay zeka servisleri sunar; kıyaslama tablosundaki küçük farklardan çok kurumun bağlamı belirleyicidir. Şu soruları yanıtlayın: • Mevcut altyapı ve sözleşme: kurum zaten hangi sağlayıcıyla çalışıyor, hangi kimlik sistemini kullanıyor? • Veri konumu: veri nerede saklı ve hangi bölge ya da ülke sınırlamaları var? • Ekip yetkinliği: ekip hangi platformun araçlarını biliyor? • Hazır servis ihtiyacı: işin çözümü hazır servislerle mümkün mü? • Çıkış maliyeti ve bağımlılık: verinin ve modelin başka sağlayıcıya taşınabilirliği ne kadar?

Bu sorulara verilen yanıtlar çoğu zaman tek bir sağlayıcıyı öne çıkarır. Tek bir sağlayıcıda karar kılınamıyorsa çok bulutlu ya da hibrit mimariler gündeme gelir; bunların getirdiği operasyonel karmaşıklığın karşılığını verip vermediği ayrıca tartılmalıdır.

Güvenlik, uyumluluk ve MLOps

Yapay zeka çözümlerinde güvenlik yalnızca ağ ve erişim yönetimi değildir. Eğitim verisinin hassasiyeti, model çıktılarının kötüye kullanımı, istem yoluyla veri sızdırma ve model sürümlerinin izlenebilirliği de kapsamdadır. Minimum yetki ilkesi, veri şifreleme, ağ izolasyonu, denetim kaydı ve veri sınıflandırması mimarinin standart parçalarıdır. Kişisel veri işleniyorsa ilgili veri koruma mevzuatı tasarım aşamasında değerlendirilmelidir.

MLOps tarafında modelin eğitiminden dağıtımına uzanan hattın otomatik, tekrarlanabilir ve izlenebilir olması gerekir. Hangi veriyle hangi kodun hangi model sürümünü ürettiği kayıt altında tutulur; canlıdaki modelin doğruluğu zamanla düşebileceğinden performans izlenir ve gerektiğinde yeniden eğitim tetiklenir.

FinOps: maliyeti baştan tasarlamak

Yapay zeka iş yükleri özellikle eğitim ve yüksek hacimli çıkarım aşamalarında beklenmedik maliyet yaratabilir. Maliyet kontrolü için kaynak etiketleme ile hangi ekip ve projenin ne harcadığını görünür kılın, bütçe uyarılarını önceden tanımlayın, geliştirme ortamlarını kullanılmadığında kapatın ve eğitim işlerini kesintiye dayanıklı biçimde tasarlayın. Hazır servis ile özel model arasındaki maliyet farkı, kullanım hacmine göre değişir; bu hesabı pilot ölçümlerle yapın, tahminle değil.

Örneğin sınırlı kullanıcıya hizmet eden bir iç asistan için hazır bir servis çoğu zaman daha ekonomik ve hızlı çıkarken, çok büyük hacimde tekrar eden bir görevde kendi barındırdığınız küçük model daha uygun olabilir. Karar, ölçülen kullanım verisine dayanmalıdır.

Sık yapılan mimari hatalar

• Önce platformu seçip sonra iş sorununu aramak.
• Veri hazırlığını hafife almak: model hazır, veri hazır değil.
• Güvenliği ve uyumluluğu proje sonuna bırakmak.
• Prototipi doğrudan üretime taşımak: ölçekleme, izleme ve geri dönüş planı yok.
• Maliyeti ölçmeden özel model eğitimine girmek.
• Tek bir sağlayıcıya sıkı bağlanıp çıkış stratejisi düşünmemek.
• Model sahibi ve işletme sorumlusu belirlememek.
• Ağ yolunu hesaba katmamak: verinin ve çıkarım servisinin farklı bölgelerde olması gecikmeyi ve veri çıkış maliyetini artırır.

Bu hataların çoğu, mimari karar kaydı tutularak önlenebilir: seçilen platformun, bölgenin ve model stratejisinin gerekçesi yazılı olduğunda ekip değiştiğinde de karar sorgulanabilir kalır.

Bu beceriyi Mindset programlarında nerede çalışırsınız?

Yapay Zeka ve Bulut Mimarisi (AWS, Azure) programı; bulut mimarları, veri ve yapay zeka mühendisleri, BT yöneticileri ve kurumsal mimarlık ekipleri için uygundur. Müfredat bulut yapay zeka platformlarına giriş, AWS yapay zeka servisleri ve SageMaker, Azure yapay zeka servisleri ve Azure ML, çok bulutlu ve hibrit mimari stratejileri, bulut MLOps ve FinOps, güvenlik ve uyumluluk konularını işler ve bir kurumsal mimari atölyesiyle sonlanır.

Kurumsal ekipler için atölye çalışması, kendi kullanım senaryolarından birini mimari karar sorularıyla birlikte ele almak üzere yapılandırılabilir.