Veri madenciliği nedir? Veride örüntü keşfetmek

Veri madenciliği nedir?

Veri madenciliği (data mining), büyük veri kümelerinde daha önce bilinmeyen örüntüleri, ilişkileri ve eğilimleri istatistik, makine öğrenmesi ve veritabanı yöntemleriyle ortaya çıkarma sürecidir. Amaç veriden, karar vermeye yarayan anlamlı bilgi üretmektir.

Adı, yer altından değerli maden çıkarmaya benzetmeden gelir; ancak çıkarılan şey veri değil, verinin içindeki bilgidir. Veri madenciliği çoğu zaman daha geniş bir sürecin, yani veri tabanlarında bilgi keşfi sürecinin (KDD) analiz adımı olarak anlatılır.

Süreç adımları

Veri madenciliği tek bir algoritma çalıştırmak değil, düzenli bir süreçtir. • İş sorusunu tanımlama: ne öğrenmek ya da tahmin etmek istendiği netleştirilir. • Veri toplama: ilgili kaynaklardan veri bir araya getirilir. • Veri temizleme ve hazırlama: eksik, hatalı ve tekrarlı kayıtlar düzeltilir; değişkenler uygun biçime getirilir. Bu adım çoğu projede en çok zaman alan adımdır. • Model kurma: soruya uygun yöntem seçilip uygulanır. • Değerlendirme: bulguların geçerliliği ve iş değeri sınanır. • Kullanıma alma ve izleme: sonuçlar karar sürecine bağlanır ve zamanla geçerliliği izlenir.

Temel yöntemler

Sınıflandırma: kayıtları önceden tanımlı sınıflara ayırır. Örneğin bir başvurunun riskli ya da risksiz olarak etiketlenmesi.

Kümeleme: etiket olmadan benzer kayıtları gruplar. Örneğin müşterileri satın alma davranışına göre kümelere ayırmak.

Birliktelik kuralları: birlikte görülen öğeleri bulur. Örneğin sepetinde bir ürün olan müşterinin başka bir ürünü de alma eğilimi.

Regresyon: sayısal bir değeri tahmin eder. Örneğin gelecek dönem talebi.

Aykırı değer tespiti: olağan dışı kayıtları belirler. Örneğin olağandışı bir harcama hareketi.

Küçük bir örnek

Örneğin bir market zinciri alışveriş sepeti verilerini inceliyor. Birliktelik kuralı analizi, bazı ürünlerin sık sık birlikte alındığını gösteriyor. Mağaza bu ürünleri raf düzeninde yakınlaştırıyor ve kampanyalarını birlikte kurguluyor.

Aynı veride kümeleme yapılınca, hafta sonu toplu alışveriş yapan ve her gün küçük alışveriş yapan müşteri grupları ayrışıyor. Her gruba farklı iletişim planlanıyor. Bu örnekte iki farklı yöntem, iki farklı iş sorusuna cevap veriyor.

Veri madenciliği ile ilişkili kavramlar

Veri analitiği: veriden sonuç çıkarmanın geniş şemsiyesidir; veri madenciliği bunun keşfe odaklı bir parçasıdır.

Makine öğrenmesi: veri madenciliğinde kullanılan algoritmaların büyük bölümünü sağlar. Veri madenciliği daha çok keşif ve iş sorusu odaklı, makine öğrenmesi daha çok tahmin modeli odaklı anlatılır; iki alan büyük ölçüde örtüşür.

Veri kazıma (scraping): web gibi kaynaklardan veri toplama yöntemidir. Madencilik için veri sağlayabilir, ancak ayrı bir iştir.

İş zekası: geçmişi raporlar ve izler; veri madenciliği ise rapordan fazlasını, yani yeni örüntüleri arar.

Dikkat edilecek noktalar

• Veri kalitesi: hatalı veri yanlış örüntü üretir.
• Gerçek ilişki ile tesadüf: veri büyüdükçe anlamsız ama istatistiksel olarak görünen örüntüler çıkabilir. Bulgular doğrulanmalıdır.
• Gizlilik ve hukuk: kişisel veri içeren çalışmalarda ilgili mevzuata uyum gerekir; kişisel veriler korunmalıdır. Web'den veri toplarken de hukuki çerçeve gözetilmelidir.
• İş değeri: teknik olarak ilginç ama karara bağlanamayan bulgu işe yaramaz.

Mindset programlarında veri madenciliği

Mindset kataloğundaki Data Scraping ve Veri Madenciliği Programı veri kazımanın temelleri ve hukuki çerçeve, ileri kazıma teknikleri, veri temizleme ve hazırlama, veri madenciliği teknikleri, depolama otomasyon ve izleme ile uçtan uca proje atölyesi başlıklarını içerir.