İTÜ - Data Science Uzmanlığı Sertifika Programı 29. Dönem

Teknolojilerin topladığı ve depoladığı verilerin zenginliği, dünya genelinde organizasyonların ve toplumların dönüşüme yönelik avantajlardan yararlanmasını sağlıyor.

Data Science Uzmanlığı Sertifika Programı da geleceğin ihtiyaçlarına cevap verebileceğiniz, verileri analiz etmek için strateji geliştirme; verileri analiz için hazırlama; verileri keşfetme, görselleştirme; Python programlama dilini kullanarak verilerle birlikte modeller oluşturma, uygulama ve yazılımlara dağıtarak işlemenize imkan sağlayacak bir programdır.

String, Integer, Float, Complex

Değişken tanımlama ve türleri yönetmek

List yapısı

Aylık yol masrafı hesaplama uygulaması

       Uygulama:

       Basit bir hesap makinesi uygulaması

Dallanma/if/elseif/else

break ve continue Kullanımı

For ve while döngüleri

Karakter dizilerinin içeriğini karşılaştırma uygulaması

      Uygulama:

      Karakter dizisindeki karakterleri sayma uygulaması

Liste, Stacks, Queues, Tuples ve Sequences

Kümeler (Sets)

Sözlük (Dictionary)

       Uygulama:

       Basit bir telefon rehberi oluşturma uygulaması

Argümanlar ve Formal Parametreler

Global Değişkenler, Yerel (Local) Değişkenler

Fonksiyonlara Parametre Aktarımı

Fonksiyonlardan Değer Döndürme

       Uygulama:

       Belli bir aralıkta rastgele sayılar üretme uygulaması

Dosya Açma, okuma, yazma

Binary Dosyalar

Dosyaların içeriğini karşılaştırma uygulaması

       Uygulama:

       Dosyaların içindeki karakterleri sayma uygulaması

Temel Hata Kontrolü

İstisnaların Yakalanması

try/except ve finally kullanımı

         Uygulama:

         Yazma izni olmayan bir dosyaya yazma ve hata kontrolü uygulaması

İsim Uzayları (NameSpaces)

imports Kullanımı

Modülleri devreye alma

        Uygulama:

        Basit bir sözlük modülü tanımlama ve üzerinde işlemler yapma uygulaması

Python’da bir sınıf nasıl tanımlanır?

Instance Metotları

Initializers Sınıf Metotları

static Metotlar

Miras Alma (Inheritance), Çoklu Miras Alma

        Uygulama:

        Bir iş yerinde işe alınan kişilerin kayıtlarını tutma uygulaması

1. Veri & Veri Bilimi Nedir?
2. Verinin Yapısal Hale Gelmesi ve Büyük Veri Süreci
3. Veri İşlemenin Önemi ve Gerçek Dünyadaki Örnekleri
4. Veri Yapıları
5. Bulut Bilişim Sistemleri ve Bileşenleri
6. Saklama Yöntemleri
7. Analiz Yöntemleri
8. Gerçek Zamanlı Veri Analitiği
9. Veri Zenginleştirme Süreçleri
10. Veri Ambarı Tasarımı
11. Veri Havuzu (Gölü) Tasarımı
12. Raporlama Sistemleri
13. Self Servis Yapılar
14. Veri Görselleştirme
15. Cognitive Servisler
16. İlişkisel Yapıların Sorgulanması
17. ETL Paket Tasarımları
18. Veri Görselleştirme Örnekleri

Şirketler gelecekleri açısından büyük ve zorlu bir dönüşüm içerisindeler. Dijitalleşmenin getirdiği baskı, yeni yeteneklerin şirkete adaptasyonu ve tüm organizasyonun veri ile yönetilir bir kültür haline getirilmesi çoğu şirket için ana planlardan birisi. En çok yatırım yapılan alanların başında olan veri bilimi, sahip olunan veriler üzerinden organizasyonlar için en verimli çözüm yöntemlerinin geliştirileceği departmanlar olmakla birlikte, bu alanda çalışacak kişilerin uçtan uca veri analizi, yönetimi, modellemesi konularında söz sahibi olması beklenmektedir. Temel kavramlar ile başlayacak olan ders içeriğinde veri saklama yöntemleri, bulut bilişim, veri ambarı mimarisi, veri zenginleştirme ve temizleme süreçleri gibi modelleme fazına gelene kadar verinin geçirdiği evrimsel süreçler anlatılmaktadır. Yapısal olmayan veri setleri üzerinde, örnek veri zenginleştirme süreçlerinin yanı sıra, yapısal veriler üzerinde optimum sorgulama yapılarının oluşturulması ve veri görselleştirilmesi ile birlikte modelleme fazına kadar üzerinden geçilmesi gereken iş adımlarının aktarılması planlanmaktadır.

1. PANDAS Temel Veri Yapıları (Seri ve Dataframe)
2. Seri ve DataFrame’ler üzerinde İndeksleme, Seçme ve Filtreleme Uygulamaları
3. Case Study: Chipotle Sipariş Veri Seti Analizleri
4. DataFrame Yapılarına Fonksiyon Uygulama (Apply ve Map)
5. Veri Aritmetiği ve Hizalandırması
6. DataFrame ile Seri’ler Arasında Operasyonlar
7. Betimleyici İstatistik (Descriptive statistics)
8. Eksik Verileri Yönetme Teknikleri
9. Hiyerarşik İndeksleme
10. Case Study: Norveç Yeni Otomobil Satış Verisi Analizleri
11. PANDAS Veri Okuma ve Yazma Fonksiyonları
12. Veritabanı Stili Veri Birleştirme Teknikleri
13. DataFrame’ler Üzerine Dizi (String) Uygulamaları
14. Veri Birleştirme ve Gruplandırması (Aggregation and Groupby)
15. Pivot Tablo Oluşturma
16. Case Study: San Francisco Devlet Memur Ücretleri Veri Seti Analizleri
17. Zaman Serileri
18. Saat Dilimi Yönetimi
19. Yeniden Örnekleme (Resampling) Uygulamaları
20. Case Study: İstanbul’un Yüz Yıllık Sıcaklık Verisi Üzerinde Analizler
21. Zaman Serileri Grafiklendirmesi
22. Case Study: Saatlik Hava Durumu Verisi Üzerinde Haftalık ve Günlük Analizler
23. Indeks Yeniden Şekillendirme, Pivot ve Melt Uygulamaları
24. Case Study: “311 Service Requests from NYC Open Data” Verisi Üzerinde Uygulamalar

Eğitim, katılımcıları yapılandırılmış veriler üzerinde kullanılan en temel Python kütüphanesi olan “PANDAS Kütüphanesi Uzmanlığı” vermeyi hedeflemektedir. Veri analistleri ile yapılan anketlerde veri temizliği, dönüşümü ve entegrasyonu gibi işlemlerin vakitlerinin %30-40 civarını aldığı görülmüştür. PANDAS kütüphanesi bahsi geçen veri işleme tekniklerini en kolay ve hızlı bir şekilde gerçekleştirmeyi sağlayan çok temel bir Python kütüphanesidir. Akademiden iş dünyasına kadar çok farklı alanlarda kullanılmaktadır. Bu eğitim kapsamında PANDAS kütüphanesindeki temel veri yapıları ve önemli fonksiyonlar tanıtılıp güncel veri setleri üzerinde analizler yapılacaktır.

1. Numpy Kütüphanesinde Dizi (Array) Yapıları Oluşturma ve Veri Tipleri Yönetimi

2. Temel İndeksleme ve Dilimleme İşlemleri

3. Matematiksel ve İstatiksel İşlemler

4. Kıyaslama, Maskeleme ve Boole Mantık

5. Doğrudan ve Dolayı Sıralama

6. Matris Operasyonları (Lineer Cebir)

Numpy matrissel vektörel işlemlerin hızlı ve efektif bir şekilde gerçekleştiren çoğunlukla C programlama dilinde yazılmış bir kütüphanedir. C dilinde yazıldığı için vektörler üzerine yapacağımız operasyonları çok hızlı bir şekilde yapabilmektedir. Python ekosisteminde hesaplamaya dayalı çoğu kütüphane Numpy kütüphanesi üzerine kuruludur. Bu derste Numpy kütüphanesinin temel ve ileri özellikleri uygulamalı olarak gösterilecektir.

1. Görselleştirilecek Veriye Uygun Figure / Grafik Çeşitlerinin Seçilmesi

2. Matplotlib Genel Konseptleri ve Pratikte Tercih Edilen Uygulamalar

3. PyPlot Modülü ve Başlıca grafiklerin / Figürlerin Oluşturulması

A. Çizgi Grafikleri (Line Plots)

B. Saçılım Diagramları (Scatter Plots)

C. Histogramlar

D. Sütun (Bar) ve Pasta (Pie) Grafikleri

E. Logaritmik Diagramlar

F. 3 Boyutlu Diagramlar (Surface Plots)

4. Aynı Figür İçerisinde Birden Fazla Grafikle Çalışmak

5. Oluşturulan Figurlerin Özelleştirilmesi

A. Grafiklerin İşaret ve Renklerinin Değiştirilmesi

B. Başlık, Alt Başlık Oluşturma

C. Alt Yazı (Legend) Oluşturma

D. Renk Haritasi (Colormap) ile Çalışma

6. Matplotlib Tabanlı Diğer Figür Oluşturma Araçlarının Tanıtımı

7. Plotly ile İnteraktif ve Oynatılabilir Figür Oluşturma

Kullanılacak Veri Seti:
Dünya Bankası Gayri Safi Milli Hasıla (GDP) Veri Seti

Veri görselleştirme gerek keşifsel veri analizi yapmada, gerekse elde ettiğimiz sonuçları karşımızdakilere aktarmada çok etkili bir yöntem olarak karşımıza çıkmaktadır. Ham veri üzerinde gözden kaçabilecek trendleri, paternleri ve ikili ilişkileri görsel yöntemler sayesinde sağlıklı bir şekilde gözlemleyebilmekte ve analiz edebilmekteyiz. Bu ders içerisinde veri işleme hususunda Python’u tercih edenlerin en sık kullandığı kütüphanelerden olan Matplotlib ile karmaşık verilerin görselleştimesi üzerine çalışmalar yapılacaktır. Dersin giriş bölümünde, veriye uygun grafik(ler)in seçilmesi ve figür terminolojisi üzerinde durulacaktır. Daha sonra sıklıkla kullanılan grafik/diagramların Matplotlib kullanılarak oluşturulması ve bu grafiklerin özelleştirilmesi için kullanılan araçlar uygulamalı olarak işlenecektir. Son olarak Matplotlib tabanlı bir başka kütüphane olan Plotly kullanılarak daha interaktif figürler oluşturma üzerinde durulacaktır.

1. Makine Öğrenmesi Yaklaşımı
2. Nasıl Çalışır Denetimli (Supervised) Öğrenme Modeli Konuları
3. Scikit-Bilgi Denetimli (Supervised)
4. Öğrenme Modelleri - Doğrusal Regresyon
5. Denetimli (Supervised) Öğrenme Modelleri - Lojistik Regresyon
6. Denetimsiz (Unsupervised)
7. Öğrenme Modelleri
8. Pipeline
9. Model Kalıcılık ve Değerlendirme
10. Örnek Uygulama: Çalışanlar için Bilgisayarda Erişim Gereksinimleri Tespiti

Scikit-learn, çok sayıda denetimli ve denetimsiz öğrenme algoritması sunar. Bu anlamda açık, anlaşılır ve en basit Machine Learning kütüphanesidir. Temel API tasarımı kolay, güçlü ve araştırma çabaları için esnekliği koruma etrafında dönmektedir. Bu sağlamlık, araştırma aşamasından üretim uygulamalarına kadar her uçtan uca Machine Learning projesinde kullanım için mükemmeldir. Scikit birkaç yaygın veri ve matematik kütüphanesi üzerine inşa edilmiştir. Böyle bir tasarım, kütüphaneler arasında entegrasyonu kolaylaştırır. Numpy dizilerini ve Pandas veri setlerini doğrudan Scikit’in Machine Learning algoritmasına geçirebilirsiniz.

1. Veri dönüştürme

2. Eksik Veri Doldurma

3. Değişken Seçme

Correlation

ANOVA

Chi Square

Mutual Information

Non-parametric

Model tabanlı

Değişken Seçme

İleriye dönük seçme

Geriye dönük seçme

4. Değişken Önemi Öçme

Feature Engineering makine öğrenmesi modellerinde çok önemli bir rol oynamaktadır. Değişken seçme ve üretme, makine öğrenmesi modellerinin doğru sonuçlar üretilebilmesi ve genelleştirilebilmesi için büyük önem arzetmektedir. Değişik kaynaklardan gelen veriler içerisinden sistem çıktısını en doğru tahmin edebilecek değişkenleri seçmek iyi bir modelin ön koşuludur.

Bu dersimizde değişik Feature Engineering yöntemleri uygulayarak makine öğrenmesi modellerimizi iyileştirmek için çalışmalar yapılıyor olacak.

1. Pekiştirilmiş Öğrenmeye Giriş
2. Durum, Aksiyon, Ödül, Politika Kavramları
3. Markov Karar Süreçleri
4. Değer Fonksiyonları ve Bellman Denklemleri
5. Epsilon-Greedy Algoritması
6. Q-Learning Algoritması
7. Derin Pekiştirilmiş Öğrenme Teknikleri (DQN)

1. Büyük Veri ve Teknolojilerinin Anlaşılması ve Kullanım Şekli
2. Büyük Veri Platformlarının Gelişim Süreci ve Çözüm Önerilerinin Anlaşılması
3. Büyük Veri Teknolojileri ve Uygulamaları Arasındaki Farklılıklar
4. Büyük Veri Platformlarının Çeşitliliği, İş-Modeli ve İş-Zekası Özelinde Farklı Kullanım Metotları
5. Büyük Veri Teknolojilerinin Dağınık ve Yapılandırılmış Veri Yapıları Üzerinden Anlaşılması, Uygulamalar ve Buna Bağlı Çözüm Önerileri
6. Hadoop HDFS ve MapReduce Çözüm Yapısının Anlaşılması, Apache Spark ve Amazon Web Service (AWS) Platformlarının Farklılıkları ve Başlangıç Uygulamaları
7. Servis-Olarak-Hadoop ve Servis-Olarak-Bulut Çözümlerinin Anlaşılması ve Kullanım Şekilleri Hadoop, AWS ve Apache Spark Üzerinden Temel Uygulamaların Yapılması
8. Güncel Büyük Veri Uygulamalarının Gösterilmesi ve Sonuçların Tartışılması

Hadoop ile Büyük Veri Uygulamaları dersinde, büyük veri ve buna bağlı oluşturulan teknolojik çözümlerin anlaşılması ve kullanım şekli tartışılarak, sistemde güncel kullanılmakta olan büyük veri platformların gelişim süreçleri ve çözüm önerileri gösterilecektir. Bu çerçevede büyük veri teknolojileri ve uygulamaları arasında farklılıklar irdelenecek, büyük veri incelemelerinde kullanılan platformların çeşitliliği, iş-modeli ve iş-zekâsı özelinde farklı kullanım metotları gösterilecektir. Bu teknolojilerin günümüzde çeşitlilik gösteren kaynaklardan toplanan dağınık ve yapılandırılmış veri yapıları üzerinden bir araya getirilerek anlaşılması, uygulamaları ve buna bağlı çözüm önerileri tartışılacaktır. Hadoop HDFS ve MapReduce kurgusu temel anlamda tartışılarak, Apache Spark ve Amazon Web Servisi (AWS) platformları ile karşılaştırılmalı gösterilecektir. Servis-Olarak-Hadoop ve Servis-Olarak-Bulut çözümlerinin işletmeler özelinde kullanım şekilleri güncel örnekler ile tartışılarak, Hadoop, AWS ve Apache Spark üzerinden ilk temel uygulamalar gösterilecektir. Türkiye’de ve dünyada yer alan büyük veri uygulamalarının ve teknolojilerinin kullanım şekli gösterilerek elde edilen sonuçlar geniş bir bakış açısı ile tartışılacaktır.

1. İlişkisel Veritabanı Yönetim Sistemlerinin Temelleri Anlatılması

2. SQL Kodlama ve Örnek Uygulamalar Yapılması

3. NoSQL Veri Tabanlarının Tanıtılması

       A. Key-Value Database

       B.Wide Column Database

       C.Document Database

       D.Graph Database

4. Örnekler ile NOSQL Veritabanlarının Kullanımına Dair Bilgilerin Verilmesi

5. Popüler NoSQL Veritabanları Üzerinde Kodlama Örnekleri Yapılması

İş analitiği uygulamalarının temeli verilerin depolanması ve gerektiğinde işlenerek analize hazır hale getirilmesine dayanmaktadır. Klasik olarak işletmelerde ilişkisel veritabanları (SQL) kullanılmaktayken son dönemde gelişen büyük veri kavramı içerisinden NoSQL veritabanları da gündeme gelmiştir. Bu ders kapsamında temel veritabanı yönetim sistemi bilgileri, SQL kodlama ve örnek uygulamalar yapılmakta, ayrıca farklı NoSQL veritabanları örnek uygulamalar ile tanıtılmaktadır.

Verilen veri setleri üzerinden;
Mevcut problemin tanımlanması, verinin ayıklanması, veri içeriklerinin kontrol edilmesi, veri setinin test edilmesi (normallik değerlerine bakılması, aykırı değer vb. unsurlar gözetilerek), verinin modellenmesi ve karar-destek süreçlerinden geçirilerek deployment sürecinin başlatılması adımları uygulamalı olarak gösterilecektir.