大數據架構設計

Hadoop有3個核心組件：分布式文件系統HDFS；分布式運算編程框架MapReduce；分布式資源調度平臺YARN。

HBase，Hadoop dataBase，基于HDFS的NoSQL數據庫，面向列式的內存存儲，定期將內存數據刷新到磁盤(刷盤)。使用LSM樹結構存儲結構。不支持SQL、沒有表關系、無法join操作，不支持事務（僅支持行級事務）、不支持回滾。MySQL4張表在HBase對應1個表、4個列。

HBase列式內存存儲

離線計算數據流程

離線計算數據流程

實時計算數據流程

實時計算數據流程

專業術語

OLTP，聯機事務處理，Online Transaction Processing。

OLAP，聯機實時分析，Online Analytical Processing。

HTAP，混合事務和分析處理，Hybrid Transaction & Analytical Processing。

MPP，大規模并行處理，Massively Parallel Processing。

數據倉庫與分層

ODS 數據接入層：所有的數據首先接入ODS層，數據復雜多樣，粒度最粗。

DIM 維表層：根據維度及其屬性將數據平臺上構建的物理化的表，采用寬表設計的原則。

DWD 數據倉庫層：經過ODS清洗、處理后的一致性、準確的、干凈的數據。

DWS 數據集市層：該層數據是面向主題來組織的輕度匯總級的數據。

DWT 數據應用層： 為了滿足具體的分析需求而構建的高度匯總的數據。

ADS 層：為各種報表提供數據。

大數據組件

存儲框架

HBase、TiDB、ClickHouse、InfluxDB（時序數據庫）、GraphQL、Elasticsearch、Apache Doris等。

數據同步轉換組件

Sqoop、canal、DataX、maxwell、Debezium、Flink-CDC、Kettle、StreamSets。

離線批量計算分析引擎

MapReduce、Yarn、Hive、Spark。（Hive無物理存儲功能、邏輯表，定義元數據）

實時流式計算引擎

Flink、Storm、Spark Streaming。

存儲層

HDFS、Apache Ozone、S3、OSS、Ceph、GlusterFS。

數據湖

Apache Hudi、Apache Iceberg、Delta Lake。

任務調度工具

Azkaban、Airflow、Oozie、Dolphin、Scheduler。

ETL數據抽取工具

Kettle、StreamSets、Apache NiFi、Airbyte。

Hodoop集群管理工具、大數據運維

Ambari、CDH（Cloudera版本）、HDP（Hortonwork版）、CDP（Cloudera和Hortonwork合并版本，收費）、USDP（國產UCloud版）、CRH（基于Apache Ambari+Apache BigTop）、TDH（星環收費閉源）。