數(shù)據(jù)倉庫的誕生原因

隨著互聯(lián)網(wǎng)的普及，信息技術已經(jīng)深入到各行各業(yè)，并逐步融入到企業(yè)的日常運營中。然而，當前企業(yè)在信息化建設過程中遇到了一些困境與挑戰(zhàn)。

1、歷史數(shù)據(jù)積存。過去企業(yè)的業(yè)務系統(tǒng)往往是在較長時間內(nèi)建設的，很少進行大面積的改造或者升級，歷史數(shù)據(jù)留存在業(yè)務系統(tǒng)中。隨著業(yè)務的不斷增長，歷史數(shù)據(jù)使用頻率低，業(yè)務數(shù)據(jù)庫中的歷史數(shù)據(jù)越來越多，大量歷史數(shù)據(jù)堆積，從而影響了業(yè)務數(shù)據(jù)庫的性能。

2、信息系統(tǒng)分散。企業(yè)各個部門自己建立的獨立數(shù)據(jù)抽取系統(tǒng)會導致數(shù)據(jù)不一致，難以進行數(shù)據(jù)整合，不同系統(tǒng)的數(shù)據(jù)口徑不統(tǒng)一、不規(guī)范。這導致了數(shù)據(jù)結構復雜，開發(fā)難度大，分析難以標準化，數(shù)據(jù)應用難度大。

企業(yè)信息系統(tǒng)分散

業(yè)務數(shù)據(jù)庫面向于業(yè)務系統(tǒng)，而數(shù)據(jù)倉庫面向于業(yè)務分析。為了滿足企業(yè)數(shù)據(jù)分析需要，數(shù)據(jù)倉庫應運而生。

數(shù)據(jù)倉庫的基本特點

數(shù)據(jù)倉庫主要用來對寄存的歷史數(shù)據(jù)進行存儲和管理，并使用一些分析方法對數(shù)據(jù)進行分析和整理（如OLAP、數(shù)據(jù)分析），從而提供大量數(shù)據(jù)支持，為企業(yè)構建BI打下堅實基礎。

數(shù)據(jù)倉庫有以下特點：

1、集成的：原始數(shù)據(jù)是從多個數(shù)據(jù)源獲得，如文件、數(shù)據(jù)庫等。要將這些來源不同的原始數(shù)據(jù)整合到一個數(shù)據(jù)庫中，就必須對這些源進行抽取、清洗、轉換。

2、面向主題的：數(shù)據(jù)倉庫為數(shù)據(jù)分析提供服務，根據(jù)主題將原始數(shù)據(jù)集合在一起。

數(shù)倉特點：面向主題

3、時變性：數(shù)據(jù)倉庫會定期接受、集成新的數(shù)據(jù)，從而反映出數(shù)據(jù)的最新變化。

4、非易失性：數(shù)據(jù)倉庫中保存的數(shù)據(jù)是一系列歷史快照，一旦進入數(shù)據(jù)倉庫，就不允許被修改。同時，對數(shù)據(jù)倉庫中保存的數(shù)據(jù)進行查詢、分析時，也只能通過專門的工具進行。

數(shù)倉特點：非易失性

數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別

數(shù)據(jù)庫是面向事務設計的，主要操作是隨機讀寫。在設計過程中，為了避免冗余，常采用符合范式的規(guī)范來設計。

數(shù)據(jù)倉庫是面向主題設計的，主要操作為批量讀取和寫入。數(shù)據(jù)倉庫關注數(shù)據(jù)整合和分析，會引入冗余，采用反范式的方式進行設計。

數(shù)據(jù)庫和數(shù)據(jù)倉庫的對比

數(shù)據(jù)倉庫建設方案

傳統(tǒng)數(shù)據(jù)倉庫和大數(shù)據(jù)數(shù)據(jù)倉庫是兩種不同類型的數(shù)據(jù)倉庫，需要采用不同的建設方案。

傳統(tǒng)數(shù)據(jù)倉庫通常是由關系型數(shù)據(jù)庫組成的 MPP （大規(guī)模并行處理）集群來進行數(shù)據(jù)存儲和運算，采用一定的數(shù)據(jù)模型，如星型模型、雪花模型等，來設計數(shù)據(jù)倉庫的結構。但是，隨著應用系統(tǒng)的發(fā)展，其擴展性受到了很大限制，并且隨著業(yè)務應用的不斷增加，也逐漸產(chǎn)生了一些熱點問題。

傳統(tǒng)數(shù)據(jù)倉庫的熱點問題

大數(shù)據(jù)數(shù)據(jù)倉庫通常采用分布式計算技術，如Hadoop、Spark等作為存儲和計算引擎，使用工具或編程語言設計處理邏輯，實現(xiàn)對不同數(shù)據(jù)源的匯聚、清洗、計算和分析。大數(shù)據(jù)數(shù)據(jù)倉庫利用了大數(shù)據(jù)天然的擴展性來完成海量數(shù)據(jù)的存放，同時也把SQL轉換成了針對大數(shù)據(jù)計算引擎的任務，實現(xiàn)數(shù)據(jù)的分析。雖然大數(shù)據(jù)數(shù)據(jù)倉庫具有很多優(yōu)點，但是仍然存在一些挑戰(zhàn)和問題：

1. SQL的支持率比較低。大數(shù)據(jù)計算引擎有自己的語言和邏輯，所以有些SQL查詢無法很好地轉換成它們能夠理解的任務。

2. 缺少事務支持。因為大數(shù)據(jù)計算引擎本質(zhì)上是分布式的，并且數(shù)據(jù)分散在多個節(jié)點上，所以很難實現(xiàn)完整的事務支持。

3. 數(shù)據(jù)量較少時計算速度可能比較慢。大數(shù)據(jù)數(shù)據(jù)倉庫可以通過計算資源的橫向擴展來提高計算速度，所以當數(shù)據(jù)量較少時，可能需要較長的時間來完成分析。

大數(shù)據(jù)數(shù)倉

現(xiàn)在企業(yè)的信息化建設和數(shù)據(jù)倉庫的構建面臨很多挑戰(zhàn)，需要根據(jù)企業(yè)的現(xiàn)狀和需要解決的問題，選擇合適的方案，不能一蹴而就。很顯然在目前的信息時代，借助類似于FineDataLink的這些工具，可以讓企業(yè)加速融入企業(yè)數(shù)據(jù)集成和分析的趨勢。