Sentetik Veri Nedir?

Sentetik veri nedir?

Sentetik veri (synthetic data), gerçek dünyadan doğrudan toplanmak yerine algoritma, simülasyon ya da üretken modelle oluşturulan; ancak gerçek verinin istatistiksel özelliklerini ve yapısını taklit eden veridir. Yapay veri üretimi olarak da anılır.

Temel fikir şudur: Gerçek veri kıt, pahalı, hassas ya da dengesiz olduğunda, ondan öğrenilen kalıplara benzeyen yeni kayıtlar üretilip model eğitimi, test veya paylaşım için kullanılır.

Sentetik veri nasıl üretilir?

Yöntem, verinin türüne göre değişir:

• Kural tabanlı üretim: İş kurallarına ve alan bilgisine dayanarak kayıt oluşturmak. Örneğin test için belirli aralıklarda müşteri kayıtları üretmek.
• İstatistiksel modelleme: Gerçek verideki dağılımı ve sütunlar arası ilişkileri öğrenip aynı dağılımdan yeni kayıt çekmek.
• Üretken modeller: Tablo, görüntü ya da metin için sinir ağı tabanlı üretken modellerin yeni örnekler üretmesi.
• Simülasyon: Sürücüsüz araç, robotik ya da lojistik gibi alanlarda fiziksel ortamı simüle ederek veri üretmek.
• Büyük dil modelleriyle metin üretimi: Etiketli metin örnekleri oluşturmak.

Örnek: dengesiz sınıf problemi

Örneğin bir bankanın sahte işlem tespit modeli var. Gerçek verideki sahte işlem sayısı meşru işlemlere göre çok az olduğu için model sahteyi yeterince öğrenemiyor. Ekip, mevcut sahte işlemlerin özelliklerinden yola çıkarak sentetik sahte işlem örnekleri üretir ve eğitim verisini dengeler.

Bir diğer örnek test ortamı: Üretim veritabanındaki müşteri verisini geliştirme ortamına kopyalamak gizlilik riski yaratır. Gerçek kayıtların yerine yapısı aynı olan sentetik kayıtlar kullanılırsa uygulama gerçekçi veriyle test edilir, kişisel veri taşınmaz.

Sentetik veri, anonimleştirilmiş veri ve veri artırma arasındaki fark

Anonimleştirilmiş veri gerçek kayıtlardan kimlik bilgilerinin çıkarılmasıyla oluşur. Kayıtlar hâlâ gerçektir ve yeniden kimliklendirme riski kalabilir. Sentetik veri ise baştan üretildiği için doğrudan bir gerçek kişiye bağlanmaz. Yine de üretici modelin eğitim verisini ezberleyip sızdırma ihtimali vardır, bu yüzden gizlilik değerlendirmesi ayrıca yapılmalıdır.

Veri artırma (data augmentation) ise mevcut örneği döndürmek, kırpmak, eş anlamlı kelimeyle değiştirmek gibi küçük dönüşümlerle çoğaltmaktır. Sentetik veri bunun daha geniş bir halidir: yeni örnekleri dönüşümle değil, dağılımdan ya da modelden üretir.

Sentetik verinin faydaları ve sınırları

Faydalar: Kıt veriyi çoğaltmak, nadir olayları temsil etmek, hassas veriyi paylaşmadan geliştirme ve test yapmak, veri toplama maliyetini azaltmak.

Sınırlar: Üretilen veri yalnızca kaynak verinin bildiği şeyi öğrenir. Kaynak veride önyargı varsa sentetik veri onu büyütebilir. Gerçekte hiç görülmemiş durumları güvenilir biçimde üretemez. Bu yüzden sentetik veriyle eğitilen modeller her zaman gerçek veri üzerinde de doğrulanmalıdır.

Kalite nasıl değerlendirilir?

Değerlendirme üç soru üzerinden yürütülür. İlki gerçeğe sadakat: Sütun dağılımları ve ilişkiler gerçek veriyle tutarlı mı. İkincisi fayda: Sentetik veriyle eğitilen model gerçek veri üzerinde kabul edilebilir başarı gösteriyor mu. Üçüncüsü gizlilik: Üretilen kayıtlar gerçek kayıtlara fazla benzeyip kişiyi ortaya çıkarıyor mu.

Mindset kataloğundaki Sentetik Veri Üretimi ile Model Eğitimi programının modül başlıkları arasında sentetik veri temelleri ve kullanım alanları, tablo verisi üretim teknikleri, metin ve etiketli veri üretimi, gizlilik korumalı üretim, kalite değerlendirme ve doğrulama ile üretim boru hattı ve yönetişim yer alır.