Veri Setinde Aykırı Değerleri Bulma ve Ele Alma Rehberi

Aykırı değer nedir ve neden önemlidir?

Aykırı değer (outlier), bir veri setindeki diğer gözlemlerden belirgin biçimde uzak duran değerdir. Ortalaması düşük gelirli bir mahallenin gelir verisinde tek bir çok yüksek maaş, bir sensör verisinde aniden sıfıra düşen ölçüm ya da bir siparişte yanlışlıkla fazladan yazılmış sıfır aykırı değer olabilir.

Önemi, istatistiksel özetleri ve modelleri bozabilmesindendir. Ortalama aykırı değere çok duyarlıdır; tek bir uç gözlem ortalamayı ve standart sapmayı ciddi biçimde kaydırır. Regresyon doğrusu tek bir uç noktaya doğru çekilebilir. Kümeleme ve mesafe temelli algoritmalar bu noktalardan etkilenir. Öte yandan, aykırı değer bazen en değerli bilgidir: sahtekârlık, arıza, bir kampanyanın beklenmedik başarısı ya da yeni bir müşteri segmenti aykırı değer olarak görünür.

Bu nedenle aykırı değerle ilk karşılaşıldığında silme refleksi yerine soru sorulur: bu değer hata mı, nadir ama gerçek mi, yoksa farklı bir popülasyondan mı geliyor? Yanıt, nasıl davranılacağını belirler. Aykırı değeri teknik olarak bulmak kolaydır; zor olan, onun ne anlama geldiğine karar vermektir.

Görsel yöntemlerle tespit

İlk bakış her zaman görseldir. Kutu grafiği (box plot) veri setinin ortasını, yayılımını ve beklenen aralığın dışındaki noktaları aynı anda gösterir. Histogram dağılımın şeklini ve uzak kuyrukları ortaya çıkarır. Dağılım grafiği (scatter plot) değişkenler arasındaki ilişkide tek tek sapan noktaları gösterir; bir değer tek başına makul olabilir ama diğer değişkenle birlikte olağandışı olabilir. Zaman serisi çizgi grafiği ise ani sıçramaları ve düşüşleri görünür kılar.

Görsel yöntemlerin avantajı hızlı ve sezgisel olmasıdır; veri analistinin veriyi tanımasını sağlar. Dezavantajı, çok sayıda değişkende ölçeklenememesi ve özneldir. Bu nedenle görsel keşif, ardından sayısal kuralla desteklenir.

Önce tek değişkenli bakış (her sütunun dağılımı), sonra çok değişkenli bakış (değişkenlerin bir arada görünümü) yapılır. Tek değişkende normal görünen bir kayıt, değişkenler birlikte düşünüldüğünde şüpheli olabilir: örneğin yaşı çocuk ama gelir düzeyi yüksek görünen bir kayıt.

İstatistiksel yöntemler: IQR, z-skoru ve sağlam ölçüler

Çeyrekler arası aralık (IQR) yöntemi dağılımın alt ve üst çeyrek değerleri arasındaki farkı kullanır. Alt çeyreğin altında ve üst çeyreğin üstünde, bu farkın belirli bir katsayıyla genişletilmiş sınırlar belirlenir; bu sınırların dışındaki değerler aykırı adayı sayılır. Yöntem, dağılımın şekli çarpık olsa bile görece sağlamdır ve kutu grafiğinin mantığıyla aynıdır.

Z-skoru yöntemi ise her değerin ortalamadan kaç standart sapma uzak olduğunu hesaplar ve bir eşiğin ötesindekileri işaretler. Dağılım yaklaşık normal olduğunda anlamlıdır. Ancak ortalama ve standart sapma aykırı değerlerden etkilendiği için, uç değerler kendi tespit aracını bozabilir. Bu sorunu aşmak için medyan ve medyandan mutlak sapma (MAD) gibi sağlam ölçülerle hesaplanan değiştirilmiş z-skoru tercih edilir.

Pratik kural: veri çarpıksa ya da küçük örneklemse IQR veya MAD tabanlı yöntemler, yaklaşık simetrik ve büyük veride z-skoru kullanılabilir. Eşik katsayısı mutlak bir doğru değildir; alan bilgisine ve hata maliyetine göre ayarlanır. Çok sıkı eşik normal değişkenliği aykırı sayar, çok gevşek eşik gerçek hataları kaçırır.

Python tarafında pandas ile çeyreklikler quantile, özet istatistikler describe, sınırlara çekme ise clip ile yapılır; scipy ve scikit-learn kütüphaneleri ek ölçüler sunar.

Çok değişkenli ve model tabanlı yöntemler

Çok sayıda değişkenin bir arada değerlendirildiği durumlarda tek tek sütun kuralları yetmez. Mahalanobis mesafesi, değişkenler arası ilişkiyi hesaba katarak bir noktanın çok boyutlu merkeze uzaklığını ölçer. Yoğunluk temelli yöntemler (örneğin DBSCAN kümeleme, LOF yerel aykırılık faktörü) komşularından uzak, seyrek bölgede kalan noktaları bulur. Isolation Forest yöntemi ise aykırı noktaların rastgele bölmelerle daha az adımda yalıtıldığı fikrine dayanır ve geniş veri setlerinde hızlı çalışır.

Zaman serisi verisinde mevsimsellik ve trend ayrıştırıldıktan sonra kalan artığa bakılır; aksi halde normal mevsimsel zirveler aykırı sanılır. Bir satış verisinde bayram haftasındaki sıçrama aykırı değil, beklenen bir örüntüdür.

Bu yöntemlerin çıktısı bir "aykırılık skoru"dur, kesin bir hüküm değildir. Skor yüksek olan kayıtlar listelenir ve alan uzmanı tarafından incelenir. Özellikle sahtekârlık, arıza ve güvenlik gibi uygulamalarda model aykırı adayı belirler, insan karar verir. Modelin yanlış alarm ve kaçırma oranı iş sonuçlarıyla dengelenmelidir.

Aykırı değerlerle ne yapılır?

Tespitten sonra karar ağacı şöyle işler. Önce kaynağı araştır: giriş hatası mı (yanlış birim, fazladan sıfır), ölçüm hatası mı (sensör arızası), işlem hatası mı yoksa gerçek ama nadir bir olay mı? Veri sahibine ya da kaynağa sormak çoğu zaman en hızlı yoldur.

Hata olduğu kanıtlanırsa seçenekler: • Kaynağa dönüp düzeltmek (en sağlıklı yol). • Hatalı kaydı eksik değer olarak işaretleyip eksik veri yöntemleriyle ele almak. • Kaydı silmek; yalnızca hata kesin ise ve silme nedeni belgelenerek.

Gerçek ama uç değerlerde seçenekler: • Olduğu gibi tutmak ve sağlam yöntemler kullanmak: ortalama yerine medyan, sıradan en küçük kareler yerine sağlam regresyon, ağaç tabanlı modeller. • Dönüştürmek: logaritma gibi dönüşümler çarpık dağılımı yumuşatır. • Sınırlamak (winsorizing): uç değerleri belirlenen alt ve üst sınıra çekmek. • Ayrı analiz etmek: uç değerler başka bir segmenti temsil ediyorsa ayrı modellemek.

Hangisi seçilirse seçilsin işlem kayıt altına alınır; analizin tekrarlanabilirliği için hangi kuralla kaç kaydın etkilendiği not edilir. Aykırı değeri sessizce silmek, sonuçlara yönelik güveni zedeler.

Örnek iş akışı ve sık yapılan hatalar

Örneğin bir e-ticaret şirketinin sipariş tutarı verisini düşünelim. Analist önce histogram ve kutu grafiğiyle dağılıma bakar ve çok yüksek tutarlı birkaç sipariş görür. IQR sınırlarını hesaplayıp bu siparişleri işaretler. İşaretli kayıtlar incelenir: bazısı toplu kurumsal sipariştir (gerçek ve değerli), bazısı birim fiyatı yanlış girilmiş testtir (hata). Kurumsal siparişler ayrı bir segment olarak tutulur, hatalı kayıtlar düzeltilir ya da dışarıda bırakılır ve nedeni kaydedilir. Ardından ortalama sepet tutarı ayrı segmentlerde raporlanır.

Yaygın hatalar şunlardır: aykırı değeri otomatik silmek, tüm veriye tek eşik uygulamak, farklı gruplarda (ürün kategorisi, şehir, müşteri tipi) farklı normal aralıkları görmemek, eğitim ve test verisine aynı kuralı tutarsız uygulamak, aykırı değeri temizledikten sonra veri sızıntısına yol açmak ve temizlik adımlarını belgelememek.

Güvenli bir alışkanlık, aykırı değer kurallarını bir fonksiyona yazıp tüm veri hazırlama hattında tutarlı çalıştırmak ve işaretlenen kayıtları ayrı bir sütunda saklamaktır. Böylece sonradan fikir değişirse işlem geri alınabilir.

Aykırı değer analizini Mindset programlarında çalışma

Python ile Veri Analizi (Pandas) eğitimi Veri Temizleme ve Ön İşleme Teknikleri, Filtreleme, Seçme ve Koşullu Sorgulama ile Gruplama, Toplulaştırma ve Pivot Analizi modüllerini içerir. Veri Bilimi için İstatistik Eğitimi ise Tanımlayıcı İstatistikler, Çizelgeler ve Grafikler ile Aykırı Değerler ve Binom Dağılımı başlıklarını kapsar. Veri analistleri, iş analistleri ve raporlama yapan ekipler için uygundur.