課程介紹



本課程內(nèi)容主要包括Spark生態(tài)系統(tǒng)、Spark架構(gòu)、Spark執(zhí)行原理的概述，實(shí)際動(dòng)手搭建Spark集群，同時(shí)學(xué)習(xí)Spark實(shí)時(shí)計(jì)算、Spark Streaming流式計(jì)算的多語言編程，最后學(xué)習(xí)Spark SQL、基于Spark的機(jī)器學(xué)習(xí)、圖計(jì)算等相關(guān)內(nèi)容。

課程背景

Hadoop在大數(shù)據(jù)領(lǐng)域應(yīng)經(jīng)證明了其存在的價(jià)值，在超大數(shù)據(jù)量時(shí)，Hadoop有著較高的優(yōu)勢。

但是在普通數(shù)據(jù)量實(shí)時(shí)計(jì)算上面還是差很多，因?yàn)镠adoop的設(shè)計(jì)導(dǎo)致數(shù)據(jù)計(jì)算具有較高的延遲，所以無法滿足實(shí)時(shí)數(shù)據(jù)需求，而單機(jī)計(jì)算更沒有辦法滿足，由此誕生了Spark，基于內(nèi)存的分布式實(shí)時(shí)計(jì)算框架，在某些數(shù)據(jù)量情況下，Spark的計(jì)算性能超Hadoop百倍，而算法實(shí)現(xiàn)僅有其1/10，甚至更少，所有Spark未來會(huì)成為大數(shù)據(jù)領(lǐng)域一顆耀眼的明星！





課程大綱





第一周 Spark生態(tài)系統(tǒng)概述

1.Spark生態(tài)系統(tǒng)概述

2.BDAS

3.Spark運(yùn)行模式

4.Spark核心內(nèi)容

（1）RDD

（2）transformation

（3）action

5.lineage

6.容錯(cuò)處理

7.寬依賴與窄依賴



第二周 Spark運(yùn)行、開發(fā)環(huán)境搭建

1.Hadoop2.x安裝

2.spark源碼編譯

3.spark安裝及測試

4.Spark on YARN

5.開發(fā)環(huán)境搭建



第三周 spark 編程

1.常用RDD

2.常用transformation

3.常用action

4.Scala、Python、Java多種語言編程實(shí)踐



第四周 Spark Streaming概述及實(shí)踐

1.DStream

2.數(shù)據(jù)源

3.transformation on DStreams

4.checkpoint

5.容錯(cuò)

6.編程實(shí)踐

7.性能優(yōu)化







——————-課程目錄——————-





│      課時(shí)1：spark基本介紹，RDD操作方式.rar

│      課時(shí)2：付費(fèi)學(xué)員服務(wù)指引.rar

│      課時(shí)3：學(xué)習(xí)資料.rar

│      課時(shí)4：1.Spark基本介紹.rar

│      課時(shí)5：2.Spark-RDD操作方式.rar

│      課時(shí)6：3.spark容錯(cuò)、調(diào)度.rar

│      課時(shí)7：1.spark安裝基礎(chǔ)，JDK、hadoop.rar

│      課時(shí)8：2.scala、spark安裝及測試.rar

│      課時(shí)9：3.開發(fā)環(huán)境搭建.rar

│      課時(shí)10：PPT課件

│      課時(shí)11：學(xué)習(xí)資料課件

│      課時(shí)12：1.RDD知識(shí)回顧.rar

│      課時(shí)13：2.transformation實(shí)踐操作.rar

│      課時(shí)14：3.RDD之Transformation.rar

│      課時(shí)15：4.RDD之a(chǎn)ction學(xué)習(xí).rar

│      課時(shí)16：PPT課件

│      課時(shí)17：1.SparkStreaming.rar

│      課時(shí)18：2.spark之transformation.rar

│      課時(shí)19：3.sparkstreaming之Windowsoperations.rar

│      課時(shí)20：4.sparkstreaming之transformoperations.rar

│      課時(shí)21：5.sparkstreaming之outputoperation及代碼優(yōu)化點(diǎn).rar