簡介
Apache DolphinScheduler 是一個分布式易擴展的可視化DAG工作流任務調度開源系統(tǒng)。適用于企業(yè)級場景,提供了一個可視化操作任務、工作流和全生命周期數(shù)據(jù)處理過程的解決方案。并且支持中文界面。
目前,DolphinScheduler 已經(jīng)是業(yè)界知名的分布式可視化大數(shù)據(jù)工作流調度系統(tǒng),被聯(lián)通、IDG、IBM、京東物流、聯(lián)想、新東方、諾基亞、360、順豐和騰訊等諸多公司使用
支持的任務類型(紅顏色為常用的任務類型)
- Shell:linux腳本,可執(zhí)行JAVA任務
- Dependent:任務依賴
- Stored Procedure:存儲過程
- Hive CLI:執(zhí)行HIve SQL
- SQL:jdbc連接關系數(shù)據(jù)庫執(zhí)行SQL
- Spark:Spark任務
- MapReduce
- Python/ target=_blank class=infotextkey>Python
- Flink
- DataX
- Appendix
- HTTP
- Pigeon
- Conditions
- Switch
- SeaTunnel
- Amazon EMR
- Apache Zeppelin
- Jupyter
- Kube.NETes
- MLflow
- Openmldb
- DVC
- Dinky
- SageMaker
- ChunJun
- Pytorch
- SubProcess
核心功能1-任務配置
- 點擊工作流定義->創(chuàng)建工作流定義->上線工作流定義
核心功能2-日志查看
運行工作流定義->點擊工作流實例->點擊工作流實例名稱->雙擊任務節(jié)點->查看任務執(zhí)行日志
核心功能3-告警配置
支持郵件、短信、釘釘、微信等告警方式






