亚洲视频二区_亚洲欧洲日本天天堂在线观看_日韩一区二区在线观看_中文字幕不卡一区

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.430618.com 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

liteflow整體分為兩個模塊,控制臺以及執行者;其中控制臺負責任務的關系以及執行的調度,執行者負責任務的具體執行??刂婆_中主要的功能圍繞在任務以及任務流。

一、主要功能介紹

1.任務

1)任務創建需要根據任務的周期(分、時、天等)來設置,同時需要指定任務執行的cron表達式;其中任務周期是用來任務上下游間關聯的依據,例如用來計算一周的pv總量(即上游任務為天,下游任務為周),這時會依據周期,下游任務會自動關聯上上游任務周一到周日的任務,只有上游的七個任務都執行成功后下游才會執行,這樣就能保證數據不會出現漏掉的情況

2)選擇任務運行的插件,即任務執行類型(hive、Python、shell等),任務的執行插件主要是執行者來實現,通過容器、插件、任務詳情來實現任務的執行,這個后續會有具體介紹

從表單中可以看出,任務需要指定是否可以并發,并發指的是同一時間同一個任務的不同任務版本是否可以同時運行,如果為否,需要指定運行策略。1)忽略:即忽略正在運行的任務,將其設置為成功狀態,然后當前任務版本再執行,這種情況適合任務運行一次和多次沒有區別的情況,例如統計統計某網站當天的pv數時。2)等待:需要等待上一個任務版本執行完成后,再執行當前任務,這種情況適合任務執行以來上一次任務執行后產生的數據,例如統計每個小時環比變化數據時。

開源調度系統:liteflow控制臺功能

 


開源調度系統:liteflow控制臺功能

 

二、任務流

1.創建任務流

在大數據ETL相關工作中,需要依賴任務流來保證各種數據層的計算,也就是我們現在提到的任務流,任務流的核心是DAG原理來保證任務的按一定的規則來運行,任務流創建后,需要將已添加的任務通過圖形界面建立好關聯

開源調度系統:liteflow控制臺功能

 

1)通過圖形界面編輯任務流

通過將鼠標在任務節點上右鍵可以添加任務,來實現任務的上下游關系

開源調度系統:liteflow控制臺功能

 


開源調度系統:liteflow控制臺功能

 


開源調度系統:liteflow控制臺功能

 

2)任務流修復

在日常工作很多情況下需要對任務進行再一次修復,通過圖形界面可以實現任務流中所有任務、從某個節點、僅某個任務的修復;任務流的修復會根據主節點任務來完成數據的展示,依據主節點任務的任務版本以及任務流中任務關系來完成某個版本下任務流下的任務實例關系

開源調度系統:liteflow控制臺功能

 

總結:

liteflow整個的核心其實是通過任務流來保證各個任務按照DAG的關系實現任務的順序執行,以保證每個任務對應能夠在上游任務數據ready的前提下再去執行,從而保證數據的一致性

分享到:
標簽:控制臺 liteflow
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定