EasyHadoop集群部署入門
1. 文檔概述
2. 背景
3. 名詞解釋
4. 服務(wù)器結(jié)構(gòu)
#Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
#系統(tǒng)和組建的依賴關(guān)系
#生產(chǎn)環(huán)境的部署結(jié)構(gòu)
5. Red hat Linux基礎(chǔ)環(huán)境搭建
#linux 安裝 (vm虛擬機(jī))
#配置機(jī)器時(shí)間同步
#配置機(jī)器網(wǎng)絡(luò)環(huán)境
#配置集群hosts列表
#下載并安裝 JAVA JDK系統(tǒng)軟件
#生成登陸密鑰
#創(chuàng)建用戶賬號(hào)和Hadoop部署目錄和數(shù)據(jù)目錄
#檢查基礎(chǔ)環(huán)境
6. Hadoop 單機(jī)系統(tǒng) 安裝配置
#Hadoop 文件下載和解壓
#配置 hadoop-env.sh 環(huán)境變量
#Hadoop Common組件 配置 core-site.xml
#HDFS NameNode,DataNode組建配置 hdfs-site.xml
#配置MapReduce – JobTracker TaskTracker 啟動(dòng)配置
#Hadoop單機(jī)系統(tǒng),啟動(dòng)執(zhí)行和異常檢查
#通過界面查看集群部署部署成功
#通過執(zhí)行 Hadoop pi 運(yùn)行樣例檢查集群是否成功
#安裝部署 常見錯(cuò)誤
7. Hadoop 集群系統(tǒng) 配置安裝配置
#檢查node節(jié)點(diǎn)linux 基礎(chǔ)環(huán)境是否正常,參考 [ linux 基礎(chǔ)環(huán)境搭建]一節(jié)。
#配置從master 機(jī)器到 node 節(jié)點(diǎn)無密鑰登陸
#檢查master到每個(gè)node節(jié)點(diǎn)在hadoop用戶下使用密鑰登陸是否正常
#配置master 集群服務(wù)器地址 stop-all.sh start-all.sh 的時(shí)候調(diào)用
#通過界面查看集群部署部署成功
#通過執(zhí)行 Hadoop pi 運(yùn)行樣例檢查集群是否成功
8. 自動(dòng)化安裝腳本
#master 服務(wù)器自動(dòng)安裝腳本
Hive倉庫集群部署入門
1. 名詞解釋
2. Hive的作用和原理說明
#數(shù)據(jù)倉庫結(jié)構(gòu)圖
#Hive倉庫流程圖
#hive內(nèi)部結(jié)構(gòu)圖
3. Hive 部署和安裝
#安裝Hadoop集群,看EasyHadoop安裝文檔。
#安裝Mysql,啟動(dòng)Mysql,檢查gc++包。
#解壓Hive包并配置JDBC連接地址。
#啟動(dòng)Hive thrift Server。
#啟動(dòng)內(nèi)置的Hive UI。
4. Hive Cli 的基本用法
#登陸查詢
#查詢文件方式
#命令行模式
5. HQL基本語法 (創(chuàng)建表,加載表,分析查詢,刪除表)
#創(chuàng)建表
6. 使用Mysql構(gòu)建簡單數(shù)據(jù)集市
#Mysql的兩種引擎介紹
#創(chuàng)建一個(gè)數(shù)據(jù)表使用Hive cli 進(jìn)行數(shù)據(jù)分析
#使用shell 編寫Hsql 并使用HiveCli導(dǎo)出數(shù)據(jù),使用Mysql命令加載到數(shù)據(jù)庫中。
#使用crontab 新增每日運(yùn)行任務(wù)定時(shí)器
7. 使用FineReport 數(shù)據(jù)展現(xiàn)數(shù)據(jù)
#安裝FineReport,使用注冊(cè)碼!
#使用FineReport,快速展現(xiàn)數(shù)據(jù)報(bào)表。
#FineReport 的問題和局限
