Büyük Veri Nedir? Tek Makineye Sığmayan Veriyi Anlamak
Büyük veri, tek bir makinenin ya da klasik bir veritabanının rahatça işleyemediği; hacim, hız ve çeşitlilik açısından zorlayan veri anlamına gelir. Her büyük görünen veri, büyük veri problemi değildir.
Bir bakışta
- Büyük veri bir boyut değil, bir yetersizlik tanımıdır. Mevcut araçlar veriyi makul sürede işleyemiyorsa sorun büyük veri sorunudur.
- Hacim, hız ve çeşitlilik temel özelliklerdir. Çok kayıt, hızlı akış ve farklı biçimler bir arada zorluk yaratır.
- İşleme dağıtık sistemlerle yapılır. Veri birden çok makineye bölünür, hesaplama paralel yürür.
- Her şirketin büyük veri altyapısına ihtiyacı yoktur. Veri tek makinede rahat işleniyorsa klasik araçlar daha basit ve yeterlidir.
Büyük veri nedir
Büyük veri (big data), hacmi, üretilme hızı ve çeşitliliği nedeniyle geleneksel veritabanı ve tek makineli araçlarla makul sürede işlenemeyen veri kümeleri için kullanılan bir kavramdır. Tanımın özü büyüklük değil, mevcut yöntemin yetersiz kalmasıdır.
Başlıca özellikler şunlardır: çok sayıda kayıt (hacim), kayıtların sürekli ve hızlı gelmesi (hız) ve verinin tablo, metin, görüntü ve günlük gibi farklı biçimlerde olması (çeşitlilik). Bu özelliklerden biri bile klasik çözümü zorlayabilir.
Büyük veri toplanır, dağıtık işlenir ve kararlara dönüşür
- Toplama ve depolamaFarklı kaynaklardan gelen veri ölçeklenebilir biçimde saklanır.
- Dağıtık işlemeVeri makinelere bölünür, hesaplama paralel yürür.
- Analiz ve kullanımSonuç rapor, model ya da uygulamaya taşınır.
Nasıl işlenir
Büyük veri, tek makinede çalışan araçlarla değil, dağıtık sistemlerle işlenir. Fikir basittir: veri birçok makineye bölünür, her makine kendi parçası üzerinde hesaplama yapar ve sonuçlar birleştirilir.
Bu alanda yaygın araçlardan biri Apache Spark'tır. Python kullananlar PySpark ile, SQL'e aşina olanlar Spark SQL ile bu işlemeyi yapabilir. Aracın seçiminden önce ise verinin nereden geldiği, ne sıklıkla geldiği ve sonucun ne kadar çabuk gerektiği sorulmalıdır.
Örnek: e-ticaret tıklama günlükleri
Büyük bir e-ticaret sitesinin her sayfa görüntülemesi, tıklaması ve sepet hareketi bir günlük kaydı üretir. Bu kayıtlar sürekli akar, farklı cihazlardan farklı biçimlerde gelir ve birikir.
Bir ürün ekibi "hangi sayfadan sonra kullanıcılar sepeti terk ediyor" sorusunu sormak istediğinde, günlüklerin tamamını tek bir tabloya sığdırmak ve sorgulamak klasik bir veritabanıyla güçleşir. Dağıtık bir hat, günlükleri okur, temizler, oturumlara böler ve sonucu raporlanabilir bir tabloya yazar.
Büyük veri sorunu mu, değil mi
Bir işletmenin verisi büyük görünse de büyük veri sorunu olmayabilir. Aşağıdaki sorular karar vermeye yardım eder: • Veri tek bir güçlü makinede makul sürede işlenebiliyor mu? • Sonuç beklenen süre içinde çıkıyor mu? • Veri hızla akıyor ve sürekli işlenmesi gerekiyor mu?
Cevap evetse klasik veritabanı ve analiz araçları yeterlidir. Dağıtık sistem kurmak, işletme ve bakım yükü getirir; gereksiz yere seçildiğinde çözüm sorundan büyük olur. Bu bakış, küçük işletmelerin veriyi nasıl kullanabileceğini anlatan yazılarda da işlenir.
Büyük veri alanındaki roller
Büyük veriyi taşıyan ve işleyen altyapıyı kuran kişiye genellikle veri mühendisi ya da büyük veri mühendisi denir. Veri bilimci ve analist ise bu altyapının ürettiği temiz veriyle çalışır.
Kaynak planlama da önemli bir alandır: bir iş yükünün ne kadar bellek ve işlemci gücü isteyeceğini önceden tahmin etmek, hem maliyet hem performans için belirleyicidir.
Mindset programlarında büyük veri
Veri Mühendisi Programı (Yapay Zeka Odaklı), veri boru hattı tasarımı, gerçek zamanlı akış ve Spark ile büyük ölçekli işlemeyi birlikte ele alır. Temel PySpark Eğitimi, DataFrame ve Spark SQL ile pratik işleme becerisini kazandırır. Büyük Veri İşleme İçin Kaynak Planlama eğitimi ise iş yükü profili çıkarma ve küme boyutlandırmaya odaklanır.
İlgili Mindset programı
Veri Mühendisi Programı (Yapay Zeka Odaklı)
Sık sorulan sorular
Büyük veri ile veri analitiği aynı şey midir?
Hayır. Veri analitiği, veriden anlam çıkarma sürecidir ve küçük bir tabloyla da yapılabilir. Büyük veri ise verinin hacim, hız ve çeşitlilik nedeniyle özel altyapı gerektirdiği durumu anlatır. Büyük veri analitiği, ikisinin kesiştiği alandır.
Büyük veri hangi araçlarla işlenir?
Dağıtık işleme için Apache Spark gibi araçlar yaygındır. Python kullanıcıları PySpark ile, SQL bilenler Spark SQL ile çalışabilir. Araç seçimi, verinin kaynağına, işleme sıklığına ve ekibin becerisine göre değişir.
Küçük bir işletme büyük veri altyapısı kurmalı mı?
Çoğu zaman gerekmez. Veri tek makinede makul sürede işlenebiliyorsa klasik araçlar daha basit ve ucuzdur. Önce hangi sorunun çözülmek istendiği netleştirilmeli; altyapı bu sorunun gerektirdiği kadar büyük olmalıdır.
Büyük veriyle çalışmak için hangi bilgiler gerekir?
SQL, bir programlama dili (çoğunlukla Python) ve dağıtık sistemlerin temel mantığı iyi bir başlangıçtır. Sonrasında veri boru hattı, depolama biçimleri ve Spark gibi işleme araçları öğrenilir.