2017最新某團(tuán)購(gòu)網(wǎng)站的大型離線電商數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn)演練視頻教程配套軟件文檔齊全 138課目錄
第一章 大數(shù)據(jù)集群搭建
1.1、課程介紹.mp4
1.2、CentOS 6.4集群搭建-1.mp4
1.3、CentOS 6.4集群搭建-2.mp4
1.4、hadoop-2.5.0-cdh5.3.6集群搭建.mp4
1.5、hive-0.13.1-cdh5.3.6安裝.mp4
1.6、zookeeper-3.4.5-cdh5.3.6集群搭建.mp4
1.7、kafka_2.9.2-0.8.1集群搭建.mp4
1.8、flume-ng-1.5.0-cdh5.3.6安裝.mp4
1.9、離線日志采集流程介紹.mp4
1.10、實(shí)時(shí)數(shù)據(jù)采集流程介紹.mp4
1.11、Spark 1.5.1客戶端安裝以及基于YARN的提交模式.mp4
第二章 用戶訪問(wèn)session分析
2.1、模塊介紹.mp4
2.2、基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)以及大數(shù)據(jù)平臺(tái)架構(gòu)介紹.mp4
2.3、需求分析.mp4
2.4、技術(shù)方案設(shè)計(jì).mp4
2.5、數(shù)據(jù)表設(shè)計(jì).mp4
2.6、Eclipse工程搭建以及工具類(lèi)說(shuō)明.mp4
2.7、開(kāi)發(fā)配置管理組件.mp4
2.8、JDBC原理介紹以及增刪改查示范.mp4
2.9、數(shù)據(jù)庫(kù)連接池原理.mp4
2.10、單例設(shè)計(jì)模式.mp4
2.11、內(nèi)部類(lèi)以及匿名內(nèi)部類(lèi).mp4
2.12、開(kāi)發(fā)JDBC輔助組件(上).mp4
2.13、開(kāi)發(fā)JDBC輔助組件(下).mp4
2.14、JavaBean概念講解.mp4
2.15、DAO模式講解以及TaskDAO開(kāi)發(fā).mp4
2.16、工廠模式講解以及DAOFactory開(kāi)發(fā).mp4
2.17、JSON數(shù)據(jù)格式講解以及fastjson介紹.mp4
2.18、Spark上下文構(gòu)建以及模擬數(shù)據(jù)生成.mp4
2.19、按session粒度進(jìn)行數(shù)據(jù)聚合.mp4
2.20、按篩選參數(shù)對(duì)session粒度聚合數(shù)據(jù)進(jìn)行過(guò)濾.mp4
2.21、session聚合統(tǒng)計(jì)之自定義Accumulator.mp4
2.22、session聚合統(tǒng)計(jì)之重構(gòu)實(shí)現(xiàn)思路與重構(gòu)session聚合.mp4
2.23、session聚合統(tǒng)計(jì)之重構(gòu)過(guò)濾進(jìn)行統(tǒng)計(jì).mp4
2.24、session聚合統(tǒng)計(jì)之計(jì)算統(tǒng)計(jì)結(jié)果并寫(xiě)入MySQL.mp4
2.25、session聚合統(tǒng)計(jì)之本地測(cè)試.mp4
2.26、session聚合統(tǒng)計(jì)之使用Scala實(shí)現(xiàn)自定義Accumulator.mp4
2.27、session隨機(jī)抽取之實(shí)現(xiàn)思路分析.mp4
2.28、session隨機(jī)抽取之計(jì)算每天每小時(shí)session數(shù)量.mp4
2.29、session隨機(jī)抽取之按時(shí)間比例隨機(jī)抽取算法實(shí)現(xiàn).mp4
2.30、session隨機(jī)抽取之根據(jù)隨機(jī)索引進(jìn)行抽取.mp4
2.31、session隨機(jī)抽取之獲取抽取session的明細(xì)數(shù)據(jù).mp4
2.32、session隨機(jī)抽取之本地測(cè)試.mp4
2.33、top10熱門(mén)品類(lèi)之需求回顧以及實(shí)現(xiàn)思路分析.mp4
2.34、top10熱門(mén)品類(lèi)之獲取session訪問(wèn)過(guò)的所有品類(lèi).mp4
2.35、top10熱門(mén)品類(lèi)之計(jì)算各品類(lèi)點(diǎn)擊、下單和支付的次數(shù).mp4
2.36、top10熱門(mén)品類(lèi)之join品類(lèi)與點(diǎn)擊下單支付次數(shù).mp4
2.37、top10熱門(mén)品類(lèi)之自定義二次排序key.mp4
2.38、top10熱門(mén)品類(lèi)之進(jìn)行二次排序.mp4
2.39、top10熱門(mén)品類(lèi)之獲取top10品類(lèi)并寫(xiě)入MySQL.mp4
2.40、top10熱門(mén)品類(lèi)之本地測(cè)試.mp4
2.41、top10熱門(mén)品類(lèi)之使用Scala實(shí)現(xiàn)二次排序.mp4
2.42、top10活躍session之開(kāi)發(fā)準(zhǔn)備以及top10品類(lèi)RDD生成.mp4
2.43、top10活躍session之計(jì)算top10品類(lèi)被各sessoin點(diǎn)擊的次數(shù).mp4
2.44、top10活躍session之分組取TopN算法獲取top10活躍session.mp4
2.45、top10活躍session之本地測(cè)試以及階段總結(jié).mp4
第三章 企業(yè)級(jí)性能調(diào)優(yōu)、troubleshooting經(jīng)驗(yàn)與數(shù)據(jù)傾斜解決方案
3.1、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中分配更多資源.mp4
3.2、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中調(diào)節(jié)并行度.mp4
3.3、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中重構(gòu)RDD架構(gòu)以及RDD持久化.mp4
3.4、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中廣播大變量.mp4
3.5、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中使用Kryo序列化.mp4
3.6、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中使用fastutil優(yōu)化數(shù)據(jù)格式.mp4
3.7、性能調(diào)優(yōu)之在實(shí)際項(xiàng)目中調(diào)節(jié)數(shù)據(jù)本地化等待時(shí)長(zhǎng).mp4
3.8、JVM調(diào)優(yōu)之原理概述以及降低cache操作的內(nèi)存占比.mp4
3.9、JVM調(diào)優(yōu)之調(diào)節(jié)executor堆外內(nèi)存與連接等待時(shí)長(zhǎng).mp4
3.10、Shuffle調(diào)優(yōu)之原理概述.mp4
3.11、Shuffle調(diào)優(yōu)之合并map端輸出文件.mp4
3.12、Shuffle調(diào)優(yōu)之調(diào)節(jié)map端內(nèi)存緩沖與reduce端內(nèi)存占比.mp4
3.13、Shuffle調(diào)優(yōu)之HashShuffleManager與SortShuffleManager.mp4
3.14、算子調(diào)優(yōu)之MapPartitions提升Map類(lèi)操作性能.mp4
3.15、算子調(diào)優(yōu)之filter過(guò)后使用coalesce減少分區(qū)數(shù)量.mp4
3.16、算子調(diào)優(yōu)之使用foreachPartition優(yōu)化寫(xiě)數(shù)據(jù)庫(kù)性能.mp4
3.17、算子調(diào)優(yōu)之使用repartition解決Spark SQL低并行度的性能問(wèn).mp4
3.18、算子調(diào)優(yōu)之reduceByKey本地聚合介紹.mp4
3.19、troubleshooting之控制shuffle reduce端緩沖大小以避免OOM.mp4
3.20、troubleshooting之解決JVM GC導(dǎo)致的shuffle文件拉取失敗.mp4
3.21、troubleshooting之解決YARN隊(duì)列資源不足導(dǎo)致的application直接失敗.mp4
3.22、troubleshooting之解決各種序列化導(dǎo)致的報(bào)錯(cuò).mp4
3.23、troubleshooting之解決算子函數(shù)返回NULL導(dǎo)致的問(wèn)題.mp4
3.24、troubleshooting之解決yarn-client模式導(dǎo)致的網(wǎng)卡流量激增問(wèn)題.mp4
3.25、troubleshooting之解決yarn-cluster模式的JVM棧內(nèi)存溢出問(wèn)題.mp4
3.26、troubleshooting之錯(cuò)誤的持久化方式以及checkpoint的使用.mp4
3.27、數(shù)據(jù)傾斜解決方案之原理以及現(xiàn)象分析.mp4
3.28、數(shù)據(jù)傾斜解決方案之聚合源數(shù)據(jù)以及過(guò)濾導(dǎo)致傾斜的key.mp4
3.29、數(shù)據(jù)傾斜解決方案之提高shuffle操作reduce并行度.mp4
3.30、數(shù)據(jù)傾斜解決方案之使用隨機(jī)key實(shí)現(xiàn)雙重聚合.mp4
3.31、數(shù)據(jù)傾斜解決方案之將reduce join轉(zhuǎn)換為map join.mp4
3.32、數(shù)據(jù)傾斜解決方案之sample采樣傾斜key單獨(dú)進(jìn)行join.mp4
3.33、數(shù)據(jù)傾斜解決方案之使用隨機(jī)數(shù)以及擴(kuò)容表進(jìn)行join.mp4
第四章 頁(yè)面單跳轉(zhuǎn)化率統(tǒng)計(jì)
4.1、模塊介紹.mp4
4.2、需求分析、技術(shù)方案設(shè)計(jì)、數(shù)據(jù)表設(shè)計(jì).mp4
4.3、編寫(xiě)基礎(chǔ)代碼.mp4
4.4、面切片生成以及頁(yè)面流匹配算法實(shí)現(xiàn).mp4
4.5、計(jì)算頁(yè)面流起始頁(yè)面的pv.mp4
4.6、計(jì)算頁(yè)面切片的轉(zhuǎn)化率.mp4
4.7、將頁(yè)面切片轉(zhuǎn)化率寫(xiě)入MySQL.mp4
4.8、本地測(cè)試.mp4
4.9、生產(chǎn)環(huán)境測(cè)試.mp4
4.10
