CDC(Change Data Capture)是一種數(shù)據(jù)捕獲技術(shù)，用于跟蹤數(shù)據(jù)庫中數(shù)據(jù)的變化。它的主要目的是捕獲數(shù)據(jù)庫中數(shù)據(jù)的增刪改操作，并將這些變化實時或定時地記錄下來，以便進行后續(xù)的處理和分析。
近日，在原有的整庫方案基礎上，大數(shù)據(jù)研發(fā)治理套件 DataLeap 重點升級了數(shù)據(jù)集成CDC分庫分表能力，可離線+實時將多個實例的多個數(shù)據(jù)庫多個分表同步到目標端中，更精準適配于業(yè)務中的實時分庫分表場景。
同時，DataLeap支持將 MySQL 同步到 EMR-Doris、EMR-Starrocks、LAS，助力將最新增量數(shù)據(jù)，以最快且最低的帶寬成本同步到目標庫，輔助業(yè)務數(shù)據(jù)分析更加準確、高效。
相比于批量抽取而言，CDC有著成本低、速度快、少干擾三大優(yōu)勢。
通過僅發(fā)送增量變更，CDC能力可幫助用戶降低通過網(wǎng)絡傳輸數(shù)據(jù)的成本。同時，CDC可將事務直接傳輸?shù)綄９┓治龅膽蒙希瑤椭脩舾鶕?jù)最新的數(shù)據(jù)做出更快、更準確的決策;CDC 可以通過監(jiān)聽數(shù)據(jù)庫的日志或 API 接口，捕獲數(shù)據(jù)變更事件，并將其發(fā)送到目標系統(tǒng)或存儲庫中，而無需在生產(chǎn)環(huán)境中大量傳輸數(shù)據(jù)，減少了網(wǎng)絡流量的占用，降低了對生產(chǎn)環(huán)境的干擾。
火山引擎DataLeap——實時分庫分表同步能力界面
同時，火山引擎DataLeap CDC分庫分表能力目前支持“使用緩存”、“無需緩存，直接同步”兩種緩存配置方式，可做到直連同步，也可支持中間件緩存到后kafka后再同步，這樣更靈活的緩存同步模式、極大地幫助客戶提高了數(shù)據(jù)消費靈活性。
火山引擎DataLeap通過快速連接云下自建/云上數(shù)據(jù)源進行數(shù)據(jù)采集同步，可幫助客戶連接各類數(shù)據(jù)上云，以及云上數(shù)據(jù)流動，輕松完成數(shù)據(jù)入倉入湖，有效發(fā)揮數(shù)據(jù)的價值，同時借助CDC分庫分表同步能力，支持數(shù)據(jù)端到端快速同步，數(shù)據(jù)實時性得到進一步增強，業(yè)務決策時效性提高且更準確。
除了上述集成能力，火山引擎DataLeap還可提供數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、運維、資產(chǎn)等能力，幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本，加速推動企業(yè)的數(shù)據(jù)化轉(zhuǎn)型，目前已經(jīng)應用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領域。
