教程名稱：
xa0 xa0 xa0xa0大數據Spark實戰(zhàn)項目 大數據實戰(zhàn)之精準廣告推送實戰(zhàn) 完全實戰(zhàn)化學習大數據開發(fā)
課程內容：
xa0 xa0 互聯網的興起將傳統(tǒng)的廣告投放方式從線下轉為了線上模式，但傳統(tǒng)的廣告投放方式根本無法實現對廣告的跟蹤和效果的反饋，廣告主無從得知投入和產出的效果。互聯網廣告投放的核心就是要精準的廣告推送數據分析平臺。以此能利用大數據分析出用戶的數據特征。根據用戶的數據特征達到更加精準的廣告推送，比如，范冰冰喜歡敷面膜，那么大數據就會分析出其用戶需求特征，推給范冰冰的就更多的是面膜的廣告。而像Spark Transformations、Action、Broadcast、Spark Streaming、MLLib中技術點就是精準廣告推送的綜合案例實戰(zhàn)。這些就會讓你的擇業(yè)不再是云里霧里。
課程目錄：
1.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—廣告形式介紹
2.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—幾個思考
3.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—互聯網廣告概念及表現形式
4.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—廣告名詞概念
5.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—DSP原理
6.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—DSP流程
7.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP項目背景
8.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP數據處理技術架構
9.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—DMP業(yè)務流程
10.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—指標說明
11.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—日志字段屬性說明
12.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—項目Maven工程構建
13.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—將日志轉換成Parquet格式
14.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—Parquet文件分區(qū)操作
15.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—Spark SQL操作Parquet–地域數據量分布統(tǒng)計
16.大數據實戰(zhàn)之精準廣告推送實戰(zhàn)—Spark Core算子操作原始日志–地域數據量分布統(tǒng)計
大數據Spark實戰(zhàn)項目：
精準廣告推送系統(tǒng)
DMP平臺
廣告行業(yè)現狀
廣告行業(yè)現狀分析
傳統(tǒng)廣告和互聯網廣告投放優(yōu)劣PK
廣告行業(yè)知識介紹
互聯網廣告的程序化采買概念
DSP業(yè)務需求詳解
SSP詳解
AD Exchange詳解
RTB實時競價詳解
DSP平臺詳解
DMP平臺詳解
項目背景
項目背景介紹
DMP平臺建設的必要性分析
項目業(yè)務流程梳理
DMP業(yè)務流程詳解
項目技術架構分析
DMP技術架構設計分析
日志采集
日志采集方案設計分析
日志格式
日志格式詳解
項目數據采集
Flume自定義插件詳解
Flume自定義插件開發(fā)流程詳解及實際場景應用；
source、channel、sink的使用詳解及實戰(zhàn)經驗；
Flume HDFS sink深入剖析及實戰(zhàn)經驗；
數據存儲目錄結構設計；
Flume組件使用詳解
Flume采集日志到HDFS
日志存儲目錄設計
數據存儲技術選型
parquet選型
Paruqet存儲原理詳解
Parquet優(yōu)勢分析
Parquet存儲優(yōu)點詳解
Parquet實戰(zhàn)
日志文件轉Parquet文件實戰(zhàn)
離線業(yè)務
日志數據量分布統(tǒng)計
Spark SQL實戰(zhàn)
廣告投放效果地域分析
Spark Transformations各算子在各業(yè)務模型中的實戰(zhàn)應用；
Spark Action的實戰(zhàn)應用最佳實踐經驗；
Spark SQL在項目數據分析業(yè)務場景中的各類復雜應用，如
如參與競價數、競價成功數、競價成功率、ECPC、ECPM等。
廣告投放效果渠道分析
廣告投放效果終端分析
廣告投放效果媒體分析
實時業(yè)務
廣告日志到Kafka
使用Spark Streaming結合Kafka對業(yè)務指標進行實時統(tǒng)計分析，并將計算的結果數據存儲到Redis中
Kafka分區(qū)調優(yōu)應用；
Kafka整合Spark Streaming的數據可靠性優(yōu)化實戰(zhàn)；
Kafka整合Spark Streaming的吞吐量協(xié)調優(yōu)化實戰(zhàn)；
Spark Streaming在復雜業(yè)務模型下的邏輯開發(fā)實戰(zhàn)；
Spark Streaming線上環(huán)境各類復雜異常處理經驗；
Spark Streaming線上環(huán)境各類監(jiān)控、JVM優(yōu)化經驗
媒體數據實時分析
渠道數據實時分析
用戶畫像
標簽體系建設
定制一套標簽體系
用戶上下文標簽
使用Spark Transformations、Action、Broadcast及外部爬蟲抓到的網絡數據進行處理分析將數據標簽化
統(tǒng)一用戶識別
使用Spark GraphX算法，對數據進行分析處理，識別出同一用戶跨多個設備的問題
基于地理位置的廣告投放
使用GEOHASH算法結合HBASE解決用戶的地理位置識別問題
用戶數據標簽聚合
使用Spark Transformations、Action將上下文標簽數據和統(tǒng)一用戶數據進行合并
HBase存儲用戶標簽
將合并的用戶標簽數據存儲到Hbase中，并根據日志動態(tài)擴列
用戶標簽數據衰減
將Hbase中的標簽數據按照日期自動衰減，形成當天最新的標簽
數據可視化
使用Echarts、ELK將Hbase中的數據做可視化的web平臺；
Echarts實際應用實戰(zhàn)技能；
ELK實際應用實戰(zhàn)技能；
