Büyük Data Eğitimi

BIG DATA - Kapsamlı Program

Bu eğitim programı, Türkiye'de Big Data alanında uzmanlaşmak isteyen profesyoneller için tasarlanmıştır. Cloudera, Databricks, AWS ve Google Cloud gibi sektör liderlerinin sertifikasyon programları referans alınarak oluşturulmuştur.

Kimler Katılabilir?

• Yazılım geliştiriciler (veri mühendisliğine geçiş)
• Veri analistleri ve veri tabanı yöneticileri
• Bilgisayar bilimi ve mühendislik öğrencileri

Eğitimin Faydaları

• Dağıtık sistemler ve Big Data temellerini öğrenme
• Apache Hadoop ve Spark ekosisteminde uzmanlaşma
• Bulut tabanlı Big Data çözümlerini kullanma (AWS, GCP, Azure)
• Gerçek zamanlı veri işleme ve veri ambarı yönetimi

Hafta 1: Big Data Temelleri ve Ekosistemine Genel Bakış

• Big Data'nın 5V'si, Geleneksel vs Dağıtık Bilgi İşlem
• Veri mühendisliği ve veri bilimi rolleri
• Uygulama: Linux komut satırı, Docker ve Git kullanımı, basit veri işleme scriptleri

Hafta 2: Hadoop Ekosistemi Temelleri

• Hadoop mimarisi, HDFS ve YARN kaynak yönetimi
• MapReduce programlama paradigması ve hata toleransı
• Uygulama: Hadoop kümesi kurulumu, HDFS komutları ve MapReduce uygulamaları

Hafta 3: Apache Spark Temelleri

• Spark mimarisi, RDD, DataFrame ve Dataset kavramları
• Spark SQL, tembel değerlendirme (lazy evaluation) ve bellek yönetimi
• Uygulama: PySpark ile programlama, Spark SQL sorguları ve performans optimizasyonu

Hafta 4: Gelişmiş Spark ve Streaming

• Spark Streaming ve Yapılandırılmış Streaming (Structured Streaming)
• Gerçek zamanlı veri işleme ve Kafka entegrasyonu
• Uygulama: Kafka kümesi kurulumu, Spark Streaming uygulamaları ve gerçek zamanlı analiz panelleri

Hafta 5: Veri Ambarı ve Analitik

• Modern veri ambarı mimarisi, boyutlu modelleme (dimensional modeling)
• OLAP vs OLTP, Apache Hive ve sorgu optimizasyonu
• Uygulama: HiveQL ile sorgu geliştirme, veri modelleme ve performans ayarlama

Hafta 6: NoSQL Veri Tabanları ve Depolama

• NoSQL veri tabanı türleri (HBase, Cassandra, MongoDB)
• Dağıtık mimariler ve veri modeli karşılaştırmaları
• Uygulama: HBase, Cassandra ve MongoDB kurulumu, performans testleri

Hafta 7-9: Bulut Big Data (AWS, GCP, Azure)

• AWS: S3, EMR, Redshift, Kinesis, Glue gibi servisler
• GCP: BigQuery, Dataflow, Dataproc, Pub/Sub gibi servisler
• Azure: Data Lake Storage, Synapse Analytics, HDInsight gibi servisler
• Uygulama: Her bir bulut platformunda uçtan uca veri analitik altyapısı kurma

Hafta 10: Databricks Birleşik Analitik Platformu

• Databricks mimarisi, Delta Lake ve MLflow
• Otomatik ölçeklendirme ve optimize etme
• Uygulama: Databricks ortamında Delta Lake ile çalışma ve MLflow kullanarak ML projeleri yönetme

Hafta 11-12: Veri Mühendisliği Pratikleri ve Akış Analizi

• Veri hattı (pipeline) tasarımı, ETL vs ELT yaklaşımları
• Veri kalitesi ve doğrulama, izleme ve uyarı sistemleri
• Uygulama: Apache Airflow ile iş akışı otomasyonu ve gerçek zamanlı dolandırıcılık tespiti sistemi

Hafta 13-14: MLOps ve Performans Optimizasyonu

• ML hattı (pipeline) mimarisi ve model dağıtım stratejileri
• Hafıza, CPU, ağ optimizasyonu ve maliyet yönetimi
• Uygulama: Spark MLlib, otomatik model eğitimi ve üretim ortamında ML izleme paneli

Hafta 15: Güvenlik ve Uyumluluk

• Big Data güvenliği, kimlik doğrulama ve veri şifreleme
• GDPR ve KVKK gibi düzenlemelere uyum
• Uygulama: Kerberos kimlik doğrulama ve güvenli veri platformu kurulumu

Hafta 16: Bitirme Projesi ve Kariyer Gelişimi

• Kurumsal mimari tasarımı, proje yönetimi ve sektör trendleri
• Sertifikasyon sınavlarına hazırlık ve profesyonel portfolyo oluşturma
• Uygulama: Gerçek bir problem için Big Data çözümü geliştirme ve sunma

Ek Bilgiler

Gerekli Teknolojiler ve Donanım

• Programlama: Python, Scala, SQL
• Frameworkler: Apache Hadoop, Spark, Kafka, Hive, HBase
• Bulut: AWS, GCP, Azure, Databricks
• Donanım: En az 32GB RAM, 16 çekirdekli CPU, 1TB SSD