Spark Streaming實時流處理項目實戰,是以愛奇藝視頻實時數據產生和流向的各個環節出發,通過集成主流的分布式日志收集框架Flume、分布式消息隊列Kafka、分布式列式數據庫HBase、及當前最火爆的Spark Streaming打造實時流處理項目實戰,一套代碼讓你掌握實時處理的整套處理流程,快速進去企業實戰!
【課程內容】
愛奇藝實時統計的一個概述
生成環境中日志產生的一個描述
項目使用的技術點以及開發對應的流程順序
互聯網訪問日志概述
日志的真實數據介紹并且講解對應的欄目的log樣式
腳本生成Log日志方式下
通過linux自帶的定時器定時生成日志
啟動和配置flum kafka
開發環境搭建
flume和kafka和SparkStreaming聯通和測試
數據庫的介紹和選擇
啟動hdfs和zk和hbase并且創建hbase表
寫一個操作Hbase的工具類操作HBase增加
項目時間工具的實現
根據條件對產生的實時流做數據清洗并且封裝成類
項目中的DAO操作Hbae的增加和查詢并且可以分批保存和測試
保存手機的數據累加到Hbase中
功能二的DAO增和查詢的實現
功能二處理業務邏輯保存到hbase數據庫里面
項目運行在真實的生成環境上面
項目中spark腳本的編寫和運行
數據可視化只為什么要可視化
數據可視化之web頁面的搭建
數據可視化之第一個springboot應用程序
數據可視化之echart的介紹和使用范圍
數據可視化之springboot創建web應用并返回html頁面
數據可視化之springboot繼承echart的頁面
數據可視化之springboot替換成生成中的餅圖
數據可視化之HBase數據訪問的工具類開發
數據可視化之DAO數據訪問層開發
數據可視化之展示層頁面邏輯處理
數據可視化之ajax請求數據頁面展示
數據可視化代碼運行在生成服務器中
項目在服務器上面運行流程與過程