Veri Mühendisliği ve MLOps rehberleri
Veri Mühendisliği ve MLOps alanındaki beceri, meslek, karşılaştırma ve kavram rehberleri tek sayfada.
Beceri rehberleri
9 beceri rehberi- Anlamsal (semantik) arama sistemi kurmak
Anlamsal arama sistemi kurma rehberi: içerik bölümleme, gömme üretimi, indeksleme, hibrit sorgu, sıralama ve ilgililik değerlendirmesi örneklerle anlatılıyor.
- Apache Flink ile Akış İşleme
Apache Flink DataStream API, olay zamanı ve watermark, pencere türleri, durum yönetimi ve checkpoint ile akış işleme hattını adım adım kurmayı öğrenin.
- Farklı Sistemlerdeki Veriler Nasıl Bir Araya Getirilir
Farklı sistemlerdeki verileri entegre etme yöntemleri: toplu ve akış alımı, değişiklik yakalama (CDC), konnektör araçları, şema yönetimi, kalite ve izleme.
- Gerçek zamanlı veri analitiği
Gerçek zamanlı analitik altyapısının katmanları: olay alımı, akış işleme, durum saklama, sunum, pencereleme ve hata yönetimi örneklerle anlatılıyor.
- LLM değerlendirme (evals)
Büyük dil modeli uygulamaları için test seti, puanlayıcı, karşılaştırma ve sürekli değerlendirme nasıl kurulur; güvenlik testleri ve sık yapılan hatalar.
- MLflow ile deney takibi
MLflow ile ML deneyleri nasıl izlenir: run, parametre, metrik ve artefakt kaydı, deney karşılaştırma, model kaydı ve tekrarlanabilirlik için pratik yöntem.
- NiFi ile veri akışı otomasyonu
Apache NiFi ile kaynaktan hedefe veri akışı nasıl kurulur: FlowFile, işlemci, geri basınç, hata yolları ve izlenebilirlik adım adım anlatılıyor.
- Snowflake'te kredi tüketimini ve sorgu süresini düşürmek
Snowflake'te maliyet ve performans iyileştirme: warehouse boyutlandırma, auto-suspend, mikro bölüm ve kümeleme, önbellek ve kaynak izleme yöntemleri.
- Üretimdeki modelde veri kayması izleme
Üretimdeki makine öğrenmesi modelinde veri kayması nasıl izlenir: kayma türleri, ölçüm yöntemleri, gecikmeli etiketler, uyarı tasarımı ve müdahale adımları.
Meslek rehberleri
2 meslek rehberiKarşılaştırmalar
1 karşılaştırmaKavramlar sözlüğü
13 kavram- Akış İşleme Nedir
Akış işleme, sürekli gelen verinin her kayıt geldiği anda işlenmesidir. Toplu işlemeden farkını, pencereleme mantığını ve kullanım alanlarını örnekle öğrenin.
- Ana veri yönetimi (MDM)
Ana veri yönetimi (MDM), müşteri, ürün, tedarikçi gibi temel verilerin kurum genelinde tek ve doğru kayıtla yönetilmesidir. Yöntem ve örnek.
- Change Data Capture
Change Data Capture'ın ne olduğunu, log tabanlı yaklaşımı, Debezium ile akışını, olay yapısını ve veri senkronizasyonundaki kullanımını örnekle öğrenin.
- GraphRAG
GraphRAG ve bilgi grafiğinin ilişkileri kullanarak yapay zeka yanıtlarını nasıl iyileştirdiğini, klasik RAG'dan farkını örnekle öğrenin.
- Guardrails
LLM uygulamalarında guardrails'in ne olduğunu, girdi ve çıktı kontrollerini, hangi riskleri azalttığını ve nasıl katmanlandırıldığını örnekle öğrenin.
- Küçük dil modelleri (SLM)
Küçük dil modellerinin (SLM) ne olduğunu, büyük modellerden farkını, kuantizasyonla cihazda çalışmasını ve kullanım alanlarını örnekle öğrenin.
- Özellik Deposu
Feature store'un ne olduğunu, çevrimdışı ve çevrimiçi depoyu, eğitim-sunum çarpıklığını nasıl önlediğini ve nerede kullanıldığını örnekle öğrenin.
- RLHF
RLHF nedir? Dil modellerinin insan tercihleriyle nasıl hizalandığını, tercih verisi, ödül modeli ve politika optimizasyonu adımlarıyla örnekle öğrenin.
- SCD
Yavaş değişen boyut (SCD), veri ambarında boyut verisi zamanla değiştiğinde geçmişi nasıl koruyacağınızı belirleyen modelleme tekniğidir. Türleri ve örnek.
- Sentetik Veri Nedir
Sentetik veri, gerçek veriyi taklit eden ama gerçek kişilere ait olmayan üretilmiş veridir. Nasıl üretildiği, örnekler ve kalite değerlendirmesi.
- Veri boru hattı
Veri boru hattı nedir, veriyi kaynaktan hedefe nasıl taşır ve dönüştürür? Aşamalar, örnek akış, ETL ile farkı ve güvenilir hat için temel ilkeler.
- Veri gözlemlenebilirliği
Veri gözlemlenebilirliği nedir? Tazelik, hacim, şema ve dağılım izlemesi veri hatlarındaki sorunları nasıl erken yakalar, veri kalitesi testinden farkı.
- Veri Soyağacı (Data Lineage) Nedir, Ne İşe Yarar
Veri soyağacı yani data lineage nedir, verinin kaynaktan rapora izlenmesi nasıl yapılır, etki analizi ve denetimde ne işe yarar, örnekle anlatılıyor.