【課程大綱】
Azkaban是一個(gè)Hadoop workflow定時(shí)調(diào)度工具,解決了多個(gè)Hadoop任務(wù)單元之間的前后依賴關(guān)系。它提供了十分友好的用戶界面,使用簡(jiǎn)單,容易上手。
在本課程中,你將學(xué)到Azkaban的安裝部署、基礎(chǔ)架構(gòu)、定時(shí)調(diào)度工作流程(包含Shell、MapReduce、Hive等)、郵箱通知等。
Azkaban_簡(jiǎn)介
Azkaban_特點(diǎn)
Azkaban_架構(gòu)
Azkaban_Web_server_配置
Azkaban_Executor_server_配置
Azkaban_Web簡(jiǎn)介
Azkaban_基礎(chǔ)使用
Azkaban_調(diào)度Shell腳本
Azkaban_通知郵件
Azkaban_多任務(wù)工作流程配置
Azkaban_Java_任務(wù)配置
Azkaban_HDFS_任務(wù)配置
Azkaban_MR_任務(wù)配置
Azkaban_Hive_任務(wù)配置
Azkaban_傳參
Flume
Flume是Cloudera提供的一個(gè)高可用的、高可靠的分布式海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Flume基于流式架構(gòu),靈活簡(jiǎn)單,是大數(shù)據(jù)開發(fā)工程師必會(huì)的框架之一。
在本課程中,你將學(xué)習(xí)到Flume架構(gòu)原理、安裝配置、拓?fù)浣Y(jié)構(gòu)、使用Flume搭建監(jiān)控端口采集數(shù)據(jù)、監(jiān)控本地(或HDFS)文件(或文件夾)采集數(shù)據(jù)、多數(shù)據(jù)源采集數(shù)據(jù)、多數(shù)據(jù)出口收集日志、Flume負(fù)載均衡以及對(duì)于Flume的監(jiān)控Ganglia的運(yùn)用。
本次更新:課件升級(jí)、Flume中的事務(wù)、Flume故障轉(zhuǎn)移、自定義組件Source和Sink。
課程目錄
Flume入門_課程介紹
Flume入門_概念
Flume入門_基礎(chǔ)架構(gòu)
Flume入門_組件介紹
Flume入門_安裝
Flume案例_官方案例(配置)
Flume案例_官方案例(測(cè)試)
Flume案例_監(jiān)控本地變化文件(需求分析)
Flume案例_監(jiān)控本地變化文件(案例一配置文件)
Flume案例_監(jiān)控本地變化文件(案例一測(cè)試)
Flume案例_監(jiān)控本地變化文件(案例二配置文件)
Flume案例_監(jiān)控本地變化文件(案例二測(cè)試)
Flume案例_監(jiān)控本地文件夾(配置文件)
Flume案例_監(jiān)控本地文件夾(案例測(cè)試)
Flume案例_斷點(diǎn)續(xù)傳文件(配置文件)
Flume案例_斷點(diǎn)續(xù)傳文件(案例測(cè)試)
Flume高級(jí)_事務(wù)性,
Flume高級(jí)_傳輸詳細(xì)流程
Flume高級(jí)_拓?fù)浣Y(jié)構(gòu)
Flume高級(jí)_回顧
Flume高級(jí)_Channel選擇器副本機(jī)制(需求分析)
Flume高級(jí)_Channel選擇器副本機(jī)制(配置文件)
Flume高級(jí)_Channel選擇器副本機(jī)制(案例測(cè)試)
Flume高級(jí)_Sink組故障轉(zhuǎn)移(需求分析)
Flume高級(jí)_Sink組故障轉(zhuǎn)移(案例測(cè)試)
Flume高級(jí)_Sink組負(fù)載均衡(配置&測(cè)試)
Flume高級(jí)_聚合組(需求分析)
Flume高級(jí)_聚合組(配置文件)
Flume高級(jí)_聚合組(案例測(cè)試)
Flume高級(jí)_自定義攔截器(需求分析)
Flume高級(jí)_自定義攔截器(代碼實(shí)現(xiàn))
Flume高級(jí)_自定義攔截器(配置文件)
Flume高級(jí)_自定義攔截器(案例測(cè)試)
Flume高級(jí)_自定義Source(需求分析)
Flume高級(jí)_自定義Source(代碼實(shí)現(xiàn))
Flume高級(jí)_自定義Source(案例測(cè)試)
Flume高級(jí)_回顧
Flume高級(jí)_自定義Sink(需求分析)
Flume高級(jí)_自定義Sink(代碼實(shí)現(xiàn))
Flume高級(jí)_自定義Sink(打包測(cè)試)
Flume監(jiān)控_Ganglia安裝
Flume監(jiān)控_Ganglia測(cè)試
Flume_面試題