2023年的金秋十月，不僅有著舉國歡慶雙節(jié)的熱鬧，同時也是偶數(shù)及其行業(yè)客戶收獲產品迭代成果的時節(jié)。10月13日， 偶數(shù)科技發(fā)布了最新的實時湖倉數(shù)據平臺Skylab 5.4版本。其中，云原生分布式數(shù)據庫OushuDB、數(shù)據分析與應用平臺Kepler、數(shù)據資產管理平臺Orbit、數(shù)據工廠Wasp、數(shù)據開發(fā)與調度平臺Flow、系統(tǒng)管理軟件Lava，在本次的新版本升級中都進行了迭代更新。
接下來讓我們一起了解下Skylab 5.4各組件的更新情況。
云原生分布式數(shù)據庫OushuDB 5.3更新
OushuDB 5.3支持Native ORC格式在線增量備份恢復。相較于全量備份恢復，增量備份恢復減少了備份和恢復時間，提供更快的數(shù)據恢復速度。同時，相對于傳統(tǒng)的離線備份（需要停止數(shù)據庫服務），在線備份減少了停機時間。這對于需要高可用性和7*24運行的業(yè)務至關重要。行業(yè)客戶對數(shù)據平臺的安全性愈發(fā)看中，在線增量備份恢復變得越來越必要，它在保障數(shù)據安全的同時，降低平臺維護成本，減少業(yè)務干擾，提高系統(tǒng)可用性。
支持歷史SQL監(jiān)控功能。歷史SQL監(jiān)控可以跟蹤和分析數(shù)據庫中執(zhí)行的SQL查詢和事務的性能。通過監(jiān)控歷史查詢的執(zhí)行計劃、響應時間和資源消耗等指標，DBA可以識別潛在的性能瓶頸，從而采取適當?shù)膬?yōu)化措施，提高數(shù)據庫性能。
新版本的默認權限功能可以為指定的用戶和schema設置新建對象（表、視圖、函數(shù)、序列）的默認權限。因此，指定用戶或者在指定schema創(chuàng)建對象時，會自動添加權限信息，而無需再手動授權。尤其是進行大范圍、多對象的權限管理時，默認權限這一功能有效降低用戶權限管理的時間成本和操作代價。
OushuDB 5.3實現(xiàn)分區(qū)列DISTINCT性能優(yōu)化，這意味著在執(zhí)行DISTINCT查詢時，不再需要掃描子表全部的數(shù)據，大幅減少數(shù)據掃描的數(shù)量，提高查詢性能，實現(xiàn)毫秒級返回復雜查詢結果。
Hive External Catalog新增對Description的支持。同時，在過往版本對Hive表只讀的基礎上，支持同時訪問Hive中多個不同Database，實現(xiàn)多表關聯(lián)計算，為用戶提供更便捷的查詢方式。
OushuDB的客戶端工作簿Worksheet在本次升級中對性能、功能和交互體驗都做了進一步優(yōu)化。例如，查詢結果列可拖拽、導出查詢結果帶表頭、熱鍵/別名、資源隊列的切換等。
數(shù)據分析與應用平臺Kepler 4.1更新
從4.0版本到4.1版本，Kepler報表開發(fā)、指標開發(fā)、可視化、平臺服務等核心模塊都進行了更新。
報表開發(fā)模塊新增整體樣式、撤銷/重做、隱藏行/列、凍結滾動、參數(shù)跳轉功能，提高了報表設計的靈活性和效率，讓用戶可以創(chuàng)建更吸引人的報表。
數(shù)據可視化模塊新增多種圖表類型和地圖配置屬性。通過增加了數(shù)據呈現(xiàn)的多樣性，幫助用戶更清晰地分析數(shù)據。
平臺服務模塊新增實時指標服務和數(shù)據服務詳情頁升級，提供了實時數(shù)據分析的能力，幫助用戶更及時地做出業(yè)務決策。
指標開發(fā)模塊新增SQL指標占位符、字段列表編輯、關聯(lián)關系、空值過濾、自定義度量等功能，簡化指標開發(fā)過程，加快數(shù)據分析流程，提高數(shù)據質量。
此外，Kepler增加了權限控制和血緣圖節(jié)點數(shù)據下載功能，提供了更好的安全性和數(shù)據追溯功能。支持復雜限定條件操作符in/not in，提升了數(shù)據查詢的靈活性，更容易篩選目標數(shù)據。
Wasp 5.4從容錯、易用性角度做了更新和優(yōu)化。
Kafka、文件類數(shù)據源支持忽略大小寫，可以確保字段匹配和比對時不受大小寫的影響，從而提高數(shù)據一致性避免了大小寫差異導致的匹配錯誤；支持跳過臟數(shù)據，排除格式錯誤、無效或不完整的數(shù)據防止臟數(shù)據對后續(xù)處理和分析造成干擾，保持數(shù)據質量。
支持數(shù)據同步對象的重新映射，在數(shù)據源或者目標表結構有變化的情況下，允許將重新修改源與目標表的字段映射，降低運維復雜度。
此外，Wasp 5.4還支持任務、文件夾的移動；優(yōu)化了指標監(jiān)控；支持顯示源表的主鍵信息。總體而言，新版 Wasp 的健壯性進一步提高，其新功能和易用性將幫助用戶有效降低運維成本。
數(shù)據資產管理平臺Orbit 2.3更新
首先，新版本Orbit著力提升了自動化元數(shù)據采集和血緣采集的穩(wěn)定性和容錯能力。用戶在進行元數(shù)據和血緣分析時，將更少遇到中斷和故障，更容易跟蹤數(shù)據的流向和關系，有助于數(shù)據決策的準確性。
其次，Orbit在前一版主數(shù)據管理模塊的基礎上，優(yōu)化了主數(shù)據模塊里數(shù)據服務接口的配置頁面，以提高用戶操作體驗。更流暢和直觀的界面，為用戶提供了更便捷的操作方式。比如在配置多表關聯(lián)查詢時，用戶能夠更輕松地創(chuàng)建和管理多表關聯(lián)，提高了數(shù)據檢索和分析的效率。
此外，新版Orbit進行了安全性升級，保障數(shù)據的機密性和完整性，以及防范潛在的數(shù)據風險和威脅。
數(shù)據開發(fā)與調度平臺Flow 5.4更新
Flow 5.4進一步豐富了控制面板的功能，新增定時日歷、任務占比、作業(yè)歷史統(tǒng)計圖等功能，幫助用戶更方便地了解Flow的使用情況。此外還新增了作業(yè)的移動和復制、任務歷史等功能。
系統(tǒng)管理軟件Lava 5.4更新
新版Lava增強了HA（High Availability）功能，確保系統(tǒng)在面臨硬件故障、軟件故障或其他不可預測事件時仍能保持運行。
Lava的監(jiān)控運維部分，增加了對OushuDB備份恢復、腳本遷移工具、SQL監(jiān)控、自定義指標監(jiān)控等功能。添加產品專員微信了解和體驗產品：oushukeji
偶數(shù)Skylab是一個擁有海量數(shù)據存儲、計算、分析、應用和 AI 能力的實時湖倉數(shù)據平臺，提供完整的數(shù)據管理生態(tài)閉環(huán)，幫助用戶實現(xiàn)批流一體、實時數(shù)據處理、自動化機器學習、自助可視化分析和數(shù)據資產管理。依托Skylab，用戶可以輕松實現(xiàn)智慧營銷、智能風控、智慧審計、智慧監(jiān)管等數(shù)據應用場景。
