Yapay zeka projeleri için veri nasıl hazırlanır?

Veri hazırlığı neden projenin büyük kısmını belirler?

Yapay zeka modeli, kendisine verilen veriden öğrenir. Eksik, tutarsız ya da yanlış etiketli veriyle eğitilen bir model, ne kadar gelişmiş olursa olsun hatalı sonuç üretir. Üretken yapay zeka araçlarında da durum aynıdır: kurumsal belgelere dayanan bir asistan, belgeler çelişkili ya da güncel değilse çelişkili ya da eski cevap verir.

Bu nedenle veri hazırlığı yapay zeka projesinde bir ön hazırlık değil, işin kendisidir. Pratikte proje ekipleri zamanın büyük bölümünü modelle değil, veriyi bulmak, anlamak, temizlemek ve birleştirmekle geçirir. Bu işi baştan planlamayan projeler, model aşamasına geldiğinde veri sorunlarıyla karşılaşıp takvimini kaçırır.

Önce veriyi tanıyın: envanter ve olgunluk

Hazırlığın ilk işi, hangi verinin nerede durduğunu ortaya çıkarmaktır. Veri envanteri şunları içerir: veri kaynağı (hangi sistem), veri türü (yapısal tablo, yarı yapısal log ya da JSON, yapısız metin ve görsel), sahibi, yenilenme sıklığı ve erişim koşulları. Envantere hassasiyet düzeyini de ekleyin: kişisel veri içeren alanları baştan işaretlemek, kimlik bilgisinin yanlışlıkla bir modele ya da dış bir araca aktarılmasını önler.

Sonra projenin ihtiyaç duyduğu veriyle eldeki veri arasındaki boşluğu yazın. Örneğin müşteri kaybını tahmin eden bir model hedefleniyorsa, geçmiş müşteri hareketleri, destek kayıtları ve sözleşme bilgisi gerekir; bunlar ayrı sistemlerde ve farklı müşteri numaralarıyla tutuluyorsa, birleştirme anahtarı henüz ortada yok demektir. Bu boşluk analizi, projeye başlamadan önce gerçekçi bir takvim kurmanın tek yoludur.

Veri kalitesini ölçün: boyutlar ve kontroller

"Veri kalitesi" tek bir kavram değil, birkaç ölçülebilir boyutun toplamıdır. En sık kullanılan boyutlar doğruluk, tamlık, tutarlılık ve güncelliktir.

• Doğruluk: kayıt gerçeği yansıtıyor mu? Örneğin doğum tarihi gelecekte olamaz.
• Tamlık: zorunlu alanlar dolu mu? Örneğin sipariş kaydında müşteri bilgisi eksik olmamalı.
• Tutarlılık: aynı bilgi sistemler arasında aynı mı? Müşterinin adresi faturalamada farklı, lojistikte farklı olabilir.
• Güncellik: veri, karar anında ne kadar eski? Eski fiyat listesiyle çalışan bir model yanlış öneri verir.

Her boyut için basit kurallar yazılır ve veri profil çıkarma araçlarıyla otomatik koşturulur. Sonuç, "bu tablo şu kuralları şu oranda geçiyor" biçiminde bir kalite raporu olur. Rapor, hangi sorunun yapay zeka çıktısını en çok bozacağını görmeyi sağlar.

Temizleme ve dönüştürme: tekrarlanabilir bir hat kurun

Temizleme tipik olarak eksik değerlerin ele alınması, aykırı gözlemlerin incelenmesi ve çakışan kayıtların birleştirilmesini kapsar. Eksik değer için doldurma, çıkarma ya da "bilinmiyor" kategorisi gibi seçenekler vardır; hangisinin uygun olduğu eksikliğin nedenine ve iş anlamına bağlıdır. Aykırı gözlem her zaman hata değildir; bir kampanya haftasındaki ani satış artışı gerçek bir olaydır, silinmemelidir.

Dönüştürme tarafında normalleştirme ve standartlaştırma yer alır: tarih biçimlerini birleştirmek, ünvan ve adres yazımlarını tek bir kurala bağlamak, ölçü birimlerini eşitlemek. Burada kritik ilke, işlemleri elle değil bir komut dizisi ya da veri hattı olarak kaydetmektir. Böylece her veri yenilendiğinde aynı adımlar aynı sırayla uygulanır ve sonuçlar tekrar üretilebilir olur. Yapay zeka araçları bu aşamada kural önerebilir ya da metin alanlarındaki yazım farklarını gruplayabilir; ancak önerilen düzeltmeler uygulanmadan önce örneklem üzerinde kontrol edilmelidir.

Etiketleme ve zenginleştirme

Gözetimli öğrenme için verinin doğru cevabı da bilmesi gerekir; bu, etiketleme işidir. Bir destek talebi sınıflandırma modeli için talepleri konularına göre etiketlemek, bir görsel denetim modeli için kusurlu parçaları işaretlemek gibi.

Etiket kalitesi, etiketleme kılavuzunun netliğine bağlıdır. Kılavuz, her etiketin tanımını, sınır örneklerini ve belirsiz durumda ne yapılacağını söyler. Birden fazla kişi etiketliyorsa, aynı örnekleri bağımsız etiketleyip uyuşma düzeyine bakmak gerekir; düşük uyuşma genellikle kılavuzun belirsiz olduğunu gösterir. Etiketleme maliyetli bir iştir; önce küçük bir örneklemle başlayıp kılavuzu sınamak, sonra büyütmek verimlidir. Zenginleştirme ise veriye ek bağlam eklemektir: lokasyon bilgisinden bölge, tarih bilgisinden mevsim ya da tatil göstergesi türetmek gibi. Dış kaynaktan eklenen veri için lisans ve kişisel veri uygunluğu ayrıca kontrol edilmelidir.

Kalite bir kerelik değil: yönetişim ve izleme

Temizlenmiş veri bir süre sonra yeniden bozulur; yeni kaynaklar eklenir, alan anlamları değişir, kullanıcılar farklı yöntemlerle kayıt girer. Kalitenin sürmesi için şu unsurlara ihtiyaç vardır: her veri alanı için bir sahip, ortak bir veri sözlüğü ve kalite kurallarını düzenli koşturan izleme.

Veri sözlüğü, her alanın ne anlama geldiğini, hangi değerleri alabileceğini ve hangi sistemden geldiğini yazar. Sahip, kalite sorunu çıktığında kime gidileceğini belirler. İzleme kuralları, kalite düşüşünü model performansı bozulmadan önce yakalar. Modelin canlıya alınmasından sonra da girdi verisinin dağılımını izlemek, modelin yavaş yavaş bozulmasını erken fark etmeye yardım eder. Bu yapı olmadan her yeni proje aynı temizleme işini baştan yapar.

Mindset programlarında bu beceri nerede çalışılır?

Yapay Zeka için Veri Hazırlığı ve Veri Kalitesi programı bu konunun doğrudan karşılığıdır. Modül başlıkları şöyledir: Yapay Zeka Projelerinde Veri Temelleri, Veri Kalitesi Boyutları ve Ölçümü, Veri Temizleme ve Dönüştürme, Veri Etiketleme ve Zenginleştirme, Veri Yönetişimi ve Sürdürülebilir Kalite. Program veri analistleri, veri mühendisleri, iş zekası ekipleri ve yapay zeka projesinde veri tarafını yöneten proje sorumluları için uygundur.

Yapay Zeka Dönüşüm Danışmanlığı Sertifika Programı ise kurumsal dönüşüm çerçevesinde Veri ve Teknoloji Altyapısı Değerlendirmesi başlığını işler; kurumun veri hazırlığını yol haritasına bağlamak isteyen ekipler için tamamlayıcıdır.