To digitally transform the business, AI must be real-time. For AI to be real-time, we need real-time analytics.[1]
Hybrid transaction/analytical processing (HTAP) is an emerging application architecture that "breaks the wall" between transaction processing and analytics. It enables more informed and "in business real time" decision making.
——Defined by Gartner
背景篇-引言
自 StoneDB 開源的第一天，石原子科技就說要做真正的 HTAP，那么究竟石原子科技對(duì) HTAP是怎么理解的？解讀一門技術(shù)，就要從其發(fā)展背景入手，本篇文章中石原子科技將從 OLTP 和 OLAP 最近的發(fā)展介紹及各自遇到的問題為基礎(chǔ)，引出 HTAP 相關(guān)概念。
OLTP：特點(diǎn)、適用場(chǎng)景、遇到的問題、最新進(jìn)展
對(duì)事務(wù)型數(shù)據(jù)進(jìn)行處理稱為聯(lián)機(jī)事務(wù)處理 (On Line Transaction Processing, OLTP)。OLTP 系統(tǒng)其主要的使用場(chǎng)景為記錄日常運(yùn)營中與業(yè)務(wù)系統(tǒng)之間的交互記錄，并且支持以該數(shù)據(jù)進(jìn)行查詢分析以獲得分析結(jié)果。
事務(wù)數(shù)據(jù)是指一種信息，用于跟蹤與組織活動(dòng)相關(guān)的交互，常為：業(yè)務(wù)事務(wù)。例如：從客戶收到的付款、對(duì)供應(yīng)商進(jìn)行的付款、從庫存移動(dòng)的產(chǎn)品、接受的訂單或交付的服務(wù)。表示事務(wù)本身的事務(wù)事件通常包含時(shí)間維度、數(shù)值等。
事務(wù)通常需要原子性和一致性。原子性意味著整個(gè)事務(wù)始終作為一個(gè)工作單元成功或失敗，永遠(yuǎn)不會(huì)處于半完成狀態(tài)。如果無法完成某個(gè)事務(wù)，數(shù)據(jù)庫系統(tǒng)必須回退任何已完成的該事務(wù)的一部分工作，從而能夠保證整個(gè)工作要么完成，要么失敗。一致性意味著事務(wù)始終讓數(shù)據(jù)處于最終有效狀態(tài)，如果已將某個(gè)事務(wù)的一部分提交到數(shù)據(jù)庫，那么該源事務(wù)中所有其他作用域內(nèi)操作也將處于最終有效狀態(tài)并提交到數(shù)據(jù)庫中。事務(wù)型數(shù)據(jù)庫可以使用各種鎖定策略（如悲觀鎖定）支持事務(wù)的強(qiáng)一致性，以確保所有用戶和進(jìn)程的所有數(shù)據(jù)在業(yè)務(wù)的上下文中具有強(qiáng)一致性。
事務(wù)型數(shù)據(jù)最常見的部署體系結(jié)構(gòu)是三層體系結(jié)構(gòu)。在該體系結(jié)構(gòu)中，事務(wù)型數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)層被使用。三層體系結(jié)構(gòu)通常包含：表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)存儲(chǔ)層。
適用場(chǎng)景
如果業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)完整性和實(shí)時(shí)性有約束要求，同時(shí)在業(yè)務(wù)的處理過程中需要保證數(shù)據(jù)的嚴(yán)格完整性，而且更改后的數(shù)據(jù)需要嚴(yán)格的持久性，此時(shí)OLTP 會(huì)是你的首要選擇。因?yàn)椋琌LTP 系統(tǒng)設(shè)計(jì)用于高效地處理和存儲(chǔ)事務(wù)，以及查詢事務(wù)數(shù)據(jù)。
面臨挑戰(zhàn)
實(shí)現(xiàn)和使用 OLTP 系統(tǒng)可能會(huì)帶來一些挑戰(zhàn)：
（1）OLTP 系統(tǒng)不是特別適合用于處理大量數(shù)據(jù)場(chǎng)景的復(fù)雜查詢。在大數(shù)據(jù)量復(fù)雜查詢場(chǎng)景下， OLTP 系統(tǒng)會(huì)消耗大量的計(jì)算資源和存儲(chǔ)資源，所以執(zhí)行上可能較慢。而且如果此時(shí)其它事務(wù)也正在對(duì)某些復(fù)雜查詢的數(shù)據(jù)進(jìn)行操作，往往會(huì)觸發(fā)系統(tǒng)中的鎖機(jī)制，這會(huì)導(dǎo)致整個(gè)系統(tǒng)性能的下降。
（2）在 OLTP 系統(tǒng)中，數(shù)據(jù)庫對(duì)象的命名約定通常簡潔而精煉，這對(duì)業(yè)務(wù)用戶專業(yè)素養(yǎng)要求較高。OLTP 系統(tǒng)中增強(qiáng)的規(guī)范化與簡潔的命名約定共同使得業(yè)務(wù)用戶在沒有 DBA 或數(shù)據(jù)開發(fā)者幫助的情況下難以執(zhí)行查詢。
（3）歷史記錄以及在任何一個(gè)表中存儲(chǔ)太多數(shù)據(jù)都會(huì)導(dǎo)致查詢性能變慢。常見的解決方案是在 OLTP 系統(tǒng)中維護(hù)一個(gè)相關(guān)時(shí)間范圍（例如當(dāng)前統(tǒng)計(jì)年度）并將歷史數(shù)據(jù)卸載到其他系統(tǒng)，例如：數(shù)據(jù)倉庫。
OLAP：特點(diǎn)、適用場(chǎng)景、遇到的問題、最新進(jìn)展
聯(lián)機(jī)分析處理（英語：Online analytical processing），簡稱 OLAP，用來快速解決多維分析問題的一種方法。OLAP 是更廣泛的商業(yè)智能范疇的一部分，它還包括關(guān)系數(shù)據(jù)庫、報(bào)告編寫和數(shù)據(jù)挖掘。
企業(yè)用來存儲(chǔ)其所有事務(wù)和記錄的數(shù)據(jù)庫稱為聯(lián)機(jī)事務(wù)處理 (OLTP) 數(shù)據(jù)庫。它們通常包含對(duì)組織有價(jià)值的大量信息。OLTP 的數(shù)據(jù)庫不是為分析而設(shè)計(jì)的。因此，從這些數(shù)據(jù)庫中檢索答案從時(shí)間和工作量角度而言成本高昂。OLAP 系統(tǒng)設(shè)計(jì)用來以高性能方式從數(shù)據(jù)中提取商業(yè)智能信息。這是因?yàn)?OLAP 數(shù)據(jù)庫針對(duì)高頻讀取和低頻寫入進(jìn)行了優(yōu)化。
適用場(chǎng)景
需要快速執(zhí)行復(fù)雜的分析和即席查詢，且不能對(duì) OLTP 系統(tǒng)產(chǎn)生負(fù)面影響；
為業(yè)務(wù)用戶提供一種簡單的方式來基于數(shù)據(jù)生成報(bào)表；
提供大量聚合，這些聚合將使用戶能夠快速獲得響應(yīng)結(jié)果。OLAP 適用于大量數(shù)據(jù)且查詢多為聚合計(jì)算的場(chǎng)景下。OLAP 系統(tǒng)針對(duì)高頻讀取應(yīng)用場(chǎng)景（例如分析和商業(yè)智能）進(jìn)行了優(yōu)化。
面臨挑戰(zhàn)
OLAP 系統(tǒng)中的數(shù)據(jù)更新較少，具體取決于業(yè)務(wù)需求，這意味著 OLAP 系統(tǒng)更適用于戰(zhàn)略級(jí)業(yè)務(wù)決策，而非適用于立即對(duì)更改做出響應(yīng)。另外，還需要規(guī)劃一定級(jí)別的數(shù)據(jù)清理和業(yè)務(wù)流程來使 OLAP 系統(tǒng)中的數(shù)據(jù)保持最新。
