借助高性能計算推動前沿技術在行業場景中的創新應用，模擬世界萬物的未來發展趨勢，已成為各大企業和科研機構的共識方向。“科學家通過分析過去20年的全球衛星圖像，能夠獲得每年森林的流失情況。為了得到這個數據，科學家使用Google Earth Engine超算平臺，動用了1萬臺服務器，分析了 65萬張遙感影像。而借助超算的算力，整個計算時間只要4個小時。”青云QingCloud（qingcloud.com，股票代碼：688316）云平臺&服務部高級總監陳海泉表示。可以說，從氣象衛星、地質勘探到基因診斷、藥物研發，高性能計算的應用場景幾乎可以滲透到科學研究的各個領域，在各行各業幫助企業降本、增效、提質的案例更是比比皆是。
其背后的一個重要趨勢是，高性能計算與云計算、大數據、AI的結合正在愈發緊密。例如在F1賽場上，紅牛車隊在比賽前會根據下一場比賽賽道的特定環境進行模擬，包括使用虛擬風洞優化空氣動力學；模擬電源散熱系統，讓賽車能發揮最大功率；模擬碰撞優化車身結構，讓賽車可以符合比賽的安全法規……基于超算平臺的算力，紅牛車隊能夠在七天內完成針對性的模擬和優化，以確保賽場中的優勢。同樣的例子還發生在能源行業，工程師會使用地震波反射法建模來模擬油藏，每次測量會產生PB級的數據，再進行密集計算和模擬，就能算出最優的鉆井位置，提高石油勘探效率。
這些應用與數據的價值密不可分。在陳海泉看來，大數據與AI的融合體現在三個方面，首先，高性能計算與尖端科研聯系緊密，科研的進步離不開對更大規模數據的計算，以及計算精度的提升；其次，大數據驅動存儲與算力融合，不用類型的數據需要被處理和分析，數據規模和數據類型對算力提出了更高的要求；此外，AI應用開始爆發，例如在深度學習過程中，要先對大量數據進行計算得到訓練模型，再根據模型結合新的數據做推理計算，通過圖像識別、NLP等手段解決實際問題。其中，訓練階段需要進行大量的浮點運算，需要使用很多GPU節點。
對大數據的有效使用讓人們受益匪淺。在醫藥領域，新冠疫情加速了大數據在醫藥和生命科學上的應用，促進了核酸疫苗和核酸藥物的研發。武漢的研究員通過大數據的獲取，在新冠病毒出現一周后就完成了整個RNA基因序列的測量，并且在國際上進行了公布。在金融領域，對各種層面和維度的數據進行分析，通過深度學習訓練出模型應用在風控上可以讓壞賬率降低35%。
不過，青云在大數據、AI與高性能計算的融合場景中，也觀察到了一些挑戰：數據存儲所需的容量增長非常快，不同類型的業務對存儲的要求存在差異。用戶總是希望有無限的容量、更高的性能、更低的價格，但廠商經常要對這些相互平衡。因此，青云提供的超算平臺QingCloud EHPC（青云彈性高性能計算）希望在不同業務場景中滿足客戶的相應所需。
QingCloud EHPC服務架構
對于仿真和建模業務，青云提供了低延時、高帶寬的InfiniBand網絡，高速并行文件存儲和CPU/GPU的算力組合，可以支持大規模求解運算，提供GPU桌面進行圖形前后處理，完成閉環的業務場景；對于大數據業務，QingCloud云平臺提供的對象存儲容量達到245PB，與計算節點結合可用于大規模的數據處理和分析。計算節點到對象存儲的網絡帶寬能達到1.6T，保證來了大數據計算的高性能；對于人工智能訓練業務，青云提供了算力達到850PFlops的A100 GPU資源池和全閃并行文件存儲，能夠結合容器平臺提供性能極致優化、輕量便捷、開源開放的人工智能平臺。
“有了云平臺的多種存儲服務，用戶可以按照自己的業務需求選擇合適的存儲類型，包括冷熱類型的對象存儲、全閃并行文件存儲或塊存儲等等。”陳海泉說，“有了虛擬化技術的加持，青云可以快速為不同業務構建其所需的運行環境，隨時可以切換 MPI、TensorFlow或MapReduce軟件平臺，充分利用超算中心的硬件資源滿足各種業務場景的需求。”
青云在云平臺上確保了安全性和可靠性，不僅將計算、網絡、存儲的租戶相互隔離，還把管理節點和計算節點分離，租戶可以使用完全獨享的登錄節點，而不是像之前那樣共享，并且除了傳統的VPN接入，青云還提供了零信任客戶端。產品形態和規格方面，QingCloud EHPC提供兩種服務模式，即HPC共享集群模式和EHPC服務模式。
在HPC共享集群模式中，用戶將作業提到共享隊列中，平臺提供400節點的共享隊列，資源量大，免排隊，內置作業調度系統，通過登錄節點提交作業到共享隊列，根據作業實際使用的核心數和時長進行計費。在EHPC專屬集群模式中，用戶可以自己創建、刪除、修改集群，集群的管理者是租戶，擁有最高權限，可以自行安裝軟件，并且一個用戶可根據需要創建多個集群，EHPC節點還支持擴容、縮容，具有較高的彈性及可擴展性。除此之外，青云提供一站式的使用體驗，比如工業仿真場景：一是其求解集群能夠提供彈性的算力，可以快速完成求解運算。二是青云能提供桌面虛擬應用，幫助用戶完成圖形的前后處理。
QingCloud EHPC的兩種服務模式
為了解決超算在使用時的資源分配不均問題，青云希望和更多超算中心共建算力共享的算力網絡。陳海泉認為，QingCloud EHPC平臺不僅可以幫助超算中心私有化部署超算云平臺運營自己的業務，還可以連接全網算力提供外部資源支撐突發業務，避免排隊。當超算中心的資源空置時，也可以對外出售算力增加運營收入。青云會為超算中心提供建設和運營的能力，其交付的濟南超算中心就是一次成功實踐，例如網絡架構是為高性能計算專用的，交換機、服務器均為高可用，集群內兩個控制節點中的一個出現問題時，另一個馬上會啟動。同時，青云還能拉通行業場景和算力供應方的需求橋梁。
QingCloud EHPC基于青云云基礎設施，為用戶提供了部署在公有云、專屬云、混合云上的多種產品形態，面向科研機構、高校教育、工業生產、行業計算等用戶提供彈性靈活、快捷高效、安全可靠的超算服務，應對生命科學、CAE仿真、海洋氣象、影視渲染、石油勘探、深度學習、測繪地理等應用場景的高性能計算需求。通過統一管理的平臺，使得青云工程師、研究人員可以突破本地的HPC基礎設施限制，快速開始云上創新。
QingCloud EHPC集群系統構成示意圖
青云QingCloud EHPC產品經理苗慧介紹稱，QingCloud EHPC提供了云上超算SaaS化服務，可以方便快捷的讓作業運行起來。通過青云的彈性公網IP、公網帶寬，將數據進行快速上傳、下載，與本地數據同步。QingCloud EHPC會覆蓋青云的終端用戶，是一個從云上計算到云下結果產出的全流程計算服務平臺，用戶可以在幾分鐘內將云上工作快速運行起來，快速完成計算作業。
QingCloud EHPC的服務架構主要分為三層，分別是資源層、管理層和用戶端。其中，資源層主要包含青云的計算、存儲和網絡資源，以及相應的后臺調度器、調度管理平臺以及可視化服務平臺；管理層主要提供SaaS化的服務，從開始作業到作業運行結束，系統會自動進行折扣信息計算、計量計費和作業監控服務，能夠保證用戶進來之后，對團隊項目、團隊項目權限等信息做相應的管理；用戶端即用戶控制臺，用戶可以很方便的進行創建集群、管理集群、彈性伸縮、作業提交、作業編排、作業性能分析等操作。
在用戶構建集群的過程中，EHPC集群分為四個節點：登錄節點、管控節點、計算節點和GPU可視化節點，這四個節點均配置了青云的共享文件存儲和共享軟件倉庫。其中，登錄節點用于進行公網訪問，通過登錄節點訪問外網時，內部數據和外網安全隔離，可以綁定公網IP，支持webssh連接。管控節點用于做調度分配，安裝了青云所有的調度器管理端，例如Slurm調度器管理端、PBS調度器管理端等等，可以將作業合理分配到多個計算節點和計算隊列中。
計算節點展示了青云的集群運行性能，即計算節點的數量、配置等，體現了一個集群能夠大規模并行運行的核心數和作業數。在計算節點上，青云提供了三種類型的支持，一是CPU計算，科學計算和密集計算均可使用，二是GPU計算，擁有更高效的數據計算服務，三是裸金屬計算，匹配傳統HPC服務，支持物理服務器。這些計算節點可以按照隊列分配，支持彈性伸縮。
GPU可視化節點可以在專業應用場景中提供更直觀的實時數據和結果參考，檢測作業是否正常運行，是否滿足作業的預期結果，用戶可以通過實時查看做出判斷，例如暫停作業、取消作業、調整參數、重新運行作業等等。
配置方面，QingCloud EHPC的CPU單核峰值可達86.4Gflops，GPU節點選擇了NVIDIA A100 40GB圖形卡，專門用于HPC和深度學習。同時，青云采用了專用的InfiniBand網絡，使得計算節點與節點之間、計算節點與存儲之間都能夠高速通信，并且以Lustre商用版本提供專業分布式文件存儲。青云將計算和存儲相結合，CPU服務器采用了100Gbps的傳輸效率，GPU服務器采用了200Gbps的傳輸效率，有效解決了高性能計算的大數據量傳輸的瓶頸，提高了傳輸效率。
在HPC軟件上，青云將大規模開源軟件及已購買的商業軟件放到共享軟件目錄，使得用戶能開箱即用，并且青云也支持MPI庫、數學軟件等資源，可以輔助用戶安裝與使用。服務方面，青云配備了專屬的技術團隊，并且對所支持的資源都進行了相應測試。青云將物理機做成EHPC集群節點，在同樣服務器配置的情況下，用VASP軟件做了性能測試。在作業核心數150核心作業以下的情況下，青云的EHPC節點性能完全能夠達到物理機性能，還有高度的伸縮性和可配置性，比物理機更靈活。在部分情況下，EHPC集群的性能要優于物理機的性能，這是受益于青云在EHPC集群內置了算力挖掘程序，針對部分任務會有性能上的優化。
應用方面，青云提供了300多款軟件，覆蓋分子生物學、新能源、新材料、大氣海洋環境、地球、物理、工業仿真、生命醫藥、汽車制造、人工智能、高校科研、影視渲染等領域。青云擁有專業的HPC軟件維護團隊，支持用戶自定義安裝應用軟件，可以做到應用無限制，滿足不同人群的計算需求，節省大量配置時間。
苗慧談到，QingCloud EHPC具備四大優勢。一是彈性伸縮，按需配置。用戶在使用過程中可以根據作業運行高峰、業務量隨時進行擴展和縮容；二是只需使用，無需運維，QingCloud EHPC平臺有專業的運維工程師、安全工程師進行機房巡檢，負責高可用的配置；三是資源租賃，性價比高，用戶可以在QingCloud EHPC上獲得業界最新的計算、存儲、網絡資源，持續提升業務運行效率；四是租戶隔離，安全可靠，對于涉密行業和機密資料，青云的云計算架構采用二級網絡隔離，第一級是私有網絡，用戶所有的節點全部在內網訪問，不會與外網溝通，第二級是VPC網絡，用戶只能通過登錄節點進行外網訪問，該節點支持端口轉發，讓外人難以掌握連接方式。
目前，QingCloud EHPC支持的應用場景主要面向計算密集型、數據密集型、通信密集型等應用需求，售價分為兩種形式，一種是按作業計算，約為0.1元/核時，另一種是按資源和節點計算，由于服務器沒有設置超線程，因此核心數就是物理核心數，例如用戶買了1核2G的資源，那么這1核就代表一個物理核。
可以看到，QingCloud EHPC解決了傳統HPC用戶的資源利用率低、投入成本大、運維管理重、安全防護難等痛點，發揮了云計算廠商在彈性資源、高性能計算、高速通信、軟件能力等方面的優勢，為高性能計算的創新注入了新的動力。“青云的超算云平臺可以完美地支持大數據和人工智能融合的超算業務，并且能夠以云服務的方式提供，讓超算資源更便捷地交付給用戶。”陳海泉表示，“未來，青云希望能讓更多的超算中心加入青云的分布式云節點，共建資源共享的算力網絡。”
