課程介紹《Spark 大數(shù)據(jù)平臺》        本課程內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)的概述及其編程模型，深入內(nèi)核的研究，Spark on Yarn,Spark Streaming流式計算原理與實踐

Spark SQL,基于Spark的機器學(xué)習(xí)，圖計算，Techyon,Spark的多語言編程以及SparkR的原理和運行。面向研究Spark的學(xué)員，它是一門非常有學(xué)習(xí)指引意義的課程。

時間：共10周



——————-課程目錄——————-



第一周 Spark生態(tài)系統(tǒng)概述與編程模型    Spark生態(tài)系統(tǒng)概述

    回顧Hadoop MapReduce

    Spark運行模式

    RDD

    Spark運行時模型簡介

    緩存策略介紹

    transformation

    action

    lineage

    容錯處理

    寬依賴與窄依賴

    集群配置



第二周 深入Spark內(nèi)核

    Spark術(shù)語解釋

    集群概覽

    核心組件

    數(shù)據(jù)本地性

    常用RDD

    任務(wù)調(diào)度

    DAGScheduler

    TaskScheduler

    Task細節(jié)

    廣播變量

    累加器

    性能調(diào)優(yōu)



第三周 Spark on Yarn & Spark as a service

    Spark on Yarn原理

    Spark on Yarn實踐

    JobServer架構(gòu)

    JobServer API介紹

    JobServer配置與部署



第四周 Spark Streaming原理與實踐

    DStream

    數(shù)據(jù)源

    無狀態(tài)transformation與有狀態(tài)transformation

    checkpoint

    容錯

    性能優(yōu)化



第五周 Shark與Spark SQL

    Shark數(shù)據(jù)模型

    Shark數(shù)據(jù)類型

    Shark架構(gòu)

    Shark部署

    緩存(分區(qū))表

    SharkServer

    Shark與Spark結(jié)合

    Spark SQL架構(gòu)

    Parquet支持

    DSL

    SQL on RDD

    Hive支持

    UDF

    JDBC Server



第六周 Machine Learning on Spark

    LinearRegression

    K-Means

    Collaborative Filtering



第七周 Spark多語言編程

    Python簡介

    PySpark API

    使用Python編寫Spark程序

    Spark with Java



第八周 圖計算GraphX

    現(xiàn)存的圖計算框架

    Table Operators

    Graph Operators

    GraphX設(shè)計



第九周 Tachyon原理與實踐

    Tachyon原理與架構(gòu)

    Tachyon實踐



第十周 SparkR

    SparkR原理介紹

    安裝配置與運行