Dataphin（智能數(shù)據(jù)構(gòu)建與管理）是阿里巴巴數(shù)據(jù)中臺團(tuán)隊研發(fā)的數(shù)據(jù)中臺產(chǎn)品，它用于阿里集團(tuán)（含螞蟻科技）內(nèi)部的數(shù)據(jù)中臺建設(shè)，即它是阿里巴巴集團(tuán)自己使用的數(shù)據(jù)中臺產(chǎn)品。。

Dataphin遵循阿里巴巴集團(tuán)多年實戰(zhàn)沉淀的大數(shù)據(jù)建設(shè)體系（OneData、OneID、OneService），集產(chǎn)品、技術(shù)、方法論于一體，一站式為用戶提供集數(shù)據(jù)引入、規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等的全鏈路智能數(shù)據(jù)構(gòu)建及管理服務(wù)。助力政府機構(gòu)和企業(yè)打造屬于自己的標(biāo)準(zhǔn)統(tǒng)一、資產(chǎn)化、服務(wù)化和閉環(huán)自優(yōu)化的智能數(shù)據(jù)體系，以驅(qū)動創(chuàng)新。主要功能模塊包括：

• 平臺管理平臺管理是Dataphin的基礎(chǔ)功能，主要包含全局化功能設(shè)置、首頁引導(dǎo)。該功能模塊幫助用戶系統(tǒng)地了解和熟悉整個產(chǎn)品、快速開始工作，并進(jìn)行必要的系統(tǒng)管理與控制，保障各模塊正常運轉(zhuǎn)。

• 全局設(shè)計基于業(yè)務(wù)全局，從頂層自下規(guī)劃設(shè)計業(yè)務(wù)數(shù)據(jù)總線，包括：劃分命名空間、定義主題域及相關(guān)名詞、劃分管理單元（即項目）、定義數(shù)據(jù)源及計算引擎源。
• 數(shù)據(jù)引入數(shù)據(jù)引入是基于全局設(shè)計定義的項目空間與物理數(shù)據(jù)源，將各業(yè)務(wù)系統(tǒng)、各類型的數(shù)據(jù)抽取加載至目標(biāo)數(shù)據(jù)庫。這個過程可以實現(xiàn)數(shù)據(jù)同步與集成，完成各業(yè)務(wù)數(shù)據(jù)集成后的基礎(chǔ)數(shù)據(jù)中心建設(shè)，為后續(xù)進(jìn)一步加工數(shù)據(jù)奠定基礎(chǔ)。

• 規(guī)范定義基于全局設(shè)計定義的業(yè)務(wù)總線、數(shù)據(jù)引入構(gòu)建的基礎(chǔ)數(shù)據(jù)中心，根據(jù)業(yè)務(wù)數(shù)據(jù)需求，結(jié)構(gòu)化地定義數(shù)據(jù)元素（例如維度、統(tǒng)計指標(biāo)），保障數(shù)據(jù)無二義性地標(biāo)準(zhǔn)化、規(guī)范化生產(chǎn)。

• 建模研發(fā)基于規(guī)范定義的數(shù)據(jù)元素，設(shè)計與構(gòu)建可視化的數(shù)據(jù)模型。數(shù)據(jù)模型提交發(fā)布后，系統(tǒng)智能自動化地生成代碼與調(diào)度任務(wù)，完成公共數(shù)據(jù)中心的全托管建設(shè)。

• 編碼研發(fā)基于通用的代碼編輯頁面，靈活地進(jìn)行個性化的數(shù)據(jù)編碼研發(fā)，完成任務(wù)發(fā)布。
• 資源及函數(shù)管理
  • 支持管理各種資源包（例如Jar、文本文件），以滿足部分?jǐn)?shù)據(jù)處理需求。
  • 支持查找與使用內(nèi)置的系統(tǒng)函數(shù)。
  • 支持用戶自定義函數(shù)，以滿足數(shù)據(jù)研發(fā)的特殊加工需求。

• 調(diào)度運維對建模研發(fā)、編碼研發(fā)生成的代碼任務(wù)進(jìn)行基于策略的調(diào)度與運維，確保所有任務(wù)正常有序地運行。調(diào)度運維操作包括：部署數(shù)據(jù)生產(chǎn)任務(wù)、查看任務(wù)運行情況、管理及維護(hù)任務(wù)之間的依賴關(guān)系。

• 元數(shù)據(jù)中心支持采集、解析和管理基礎(chǔ)數(shù)據(jù)中心、公共數(shù)據(jù)中心、萃取數(shù)據(jù)中心的元數(shù)據(jù)。
• 資產(chǎn)分析
  • 在元數(shù)據(jù)中心基礎(chǔ)上，深度分析元數(shù)據(jù)，實現(xiàn)數(shù)據(jù)資產(chǎn)化管理。
  • 為用戶可視化地呈現(xiàn)資產(chǎn)分布、元數(shù)據(jù)詳情等，方便用戶快速查找、深度了解數(shù)據(jù)資產(chǎn)。

• 即席查詢支持用戶通過自定義SQL等方式，查詢數(shù)據(jù)資產(chǎn)中的數(shù)據(jù)。同時，通過查詢分析引擎，快速獲取物理表、邏輯表（即數(shù)據(jù)模型，或邏輯模型）的數(shù)據(jù)查詢結(jié)果。

為什么選擇Dataphin？

Dataphin在阿里巴巴內(nèi)部管理EB級別數(shù)據(jù)、數(shù)以千萬級別的表，本身產(chǎn)品能力已經(jīng)在阿里巴巴海量數(shù)據(jù)的環(huán)境中得到驗證。

Dataphin致力于屏蔽不同計算與存儲環(huán)境差異，幫助用戶快速引入數(shù)據(jù)、標(biāo)準(zhǔn)規(guī)范化構(gòu)建數(shù)據(jù)。用戶可以通過建模化方式自動開發(fā)數(shù)據(jù)、萃取以實體對象為中心的標(biāo)簽數(shù)據(jù)體系，沉淀業(yè)務(wù)數(shù)據(jù)知識與數(shù)據(jù)資產(chǎn)、治理數(shù)據(jù)問題。同時，Dataphin還支持?jǐn)?shù)據(jù)表查詢、智能語音查詢等多種類型的數(shù)據(jù)服務(wù)。

選擇Dataphin，用戶可以輕松構(gòu)建具有以下優(yōu)勢的數(shù)據(jù)體系：

• 數(shù)據(jù)規(guī)范統(tǒng)一：采用維度事實建模理論，對維度、維度屬性、業(yè)務(wù)過程、指標(biāo)字段等進(jìn)行嚴(yán)格的標(biāo)準(zhǔn)化、規(guī)范化定義，保障數(shù)據(jù)質(zhì)量，避免數(shù)據(jù)指標(biāo)定義的二義性。
• 高效且自動化的編碼：基于函數(shù)化理念，對通用數(shù)據(jù)計算邏輯進(jìn)行組件化定義，并可自由組建統(tǒng)計指標(biāo)，從而實現(xiàn)自助化建模研發(fā)，系統(tǒng)自動生成代碼執(zhí)行數(shù)據(jù)生產(chǎn)。
• 智能計算優(yōu)化：支持從業(yè)務(wù)視角進(jìn)行邏輯建模。邏輯模型發(fā)布后，系統(tǒng)自動化進(jìn)行物理建模、編碼，從而降低對開發(fā)人員的技術(shù)能力依賴。
• 一站式研發(fā)體驗：數(shù)據(jù)引入、建模、研發(fā)、運維、數(shù)據(jù)查找及探查等過程一氣呵成，研發(fā)鏈路統(tǒng)一且高效。
• 系統(tǒng)化構(gòu)建數(shù)據(jù)目錄：基于規(guī)范化建模、高效自動化的元數(shù)據(jù)抽取，以標(biāo)準(zhǔn)的技術(shù)框架系統(tǒng)地構(gòu)建規(guī)范的業(yè)務(wù)化數(shù)據(jù)目錄，形成數(shù)據(jù)資產(chǎn)地圖，方便業(yè)務(wù)查找及應(yīng)用。
• 高效的數(shù)據(jù)檢索：基于元數(shù)據(jù)及業(yè)務(wù)數(shù)據(jù)構(gòu)建數(shù)據(jù)圖譜，實現(xiàn)快速、智能檢索數(shù)據(jù)表及數(shù)據(jù)。
• 可視化的數(shù)據(jù)資產(chǎn)：系統(tǒng)化構(gòu)建業(yè)務(wù)數(shù)據(jù)資產(chǎn)大圖，從數(shù)據(jù)視角還原業(yè)務(wù)系統(tǒng)、提取業(yè)務(wù)數(shù)據(jù)，快速感知業(yè)務(wù)關(guān)鍵環(huán)節(jié)及數(shù)據(jù)。
• 數(shù)據(jù)使用簡單可依賴：通過主題式數(shù)據(jù)查詢服務(wù)，可以快速查詢和訪問研發(fā)構(gòu)建的數(shù)據(jù)邏輯表，簡化約80%的查詢代碼。
• 提升效率：提供全鏈路、一站式、智能化的數(shù)據(jù)構(gòu)建與管理工具，降低數(shù)據(jù)建設(shè)門檻。不同背景的開發(fā)人員可以自助ETL，快速滿足業(yè)務(wù)需求。通過OneData、OneEntity、OneService思想與方法論，可以完成模型和指標(biāo)的抽象與自助定義、代碼自動化生產(chǎn)、主題數(shù)據(jù)自動聚合并輸出服務(wù)。
• 降低成本：以元數(shù)據(jù)為基礎(chǔ)、算法智能為驅(qū)動，實現(xiàn)物理和邏輯分層的智能自動化生產(chǎn)。同時，分析與優(yōu)化數(shù)據(jù)資產(chǎn)全鏈路，優(yōu)化計算及存儲資源分配，從而降低數(shù)據(jù)生產(chǎn)及消費成本。