在中國信息通信研究院(中國信通院)近期組織的“可信AI大模型一體機(jī)評估體系1.0”評估活動中,一家黃浦區(qū)重點扶持的創(chuàng)新企業(yè)——問道以芯,憑借其自主研發(fā)的“異構(gòu)存力推理機(jī)”,成功通過了推理性能專項評估,躋身國內(nèi)首批完成該體系評估的企業(yè)行列。
問道以芯,這家成立于2021年的新興企業(yè),致力于構(gòu)建國產(chǎn)自主的AI及高性能計算開放集群,專注于研發(fā)解決核心技術(shù)難題的產(chǎn)品。2024年,問道以芯在第四屆“海聚英才”全球創(chuàng)新創(chuàng)業(yè)大賽中榮獲銀聚獎,并隨后落戶黃浦區(qū)。今年3月,該公司攜手黃浦科創(chuàng)集團(tuán)和江蘇未來網(wǎng)絡(luò)集團(tuán),共同發(fā)布了基于全自主知識產(chǎn)權(quán)新存力運力架構(gòu)的AI大模型云邊端協(xié)同一體機(jī)原理機(jī)。經(jīng)過數(shù)月的努力,問道以芯于6月正式推出了工程化產(chǎn)品——“異構(gòu)存力推理機(jī)V1”,為中央科創(chuàng)區(qū)的“硬科技”產(chǎn)業(yè)生態(tài)注入了新活力。
隨著人工智能領(lǐng)域的蓬勃發(fā)展,特別是大模型時代的到來,企業(yè)對于如何高效支撐多場景人工智能模型的應(yīng)用需求愈發(fā)迫切。大模型一體機(jī)應(yīng)運而生,它集成了硬件資源、軟件平臺和大模型的軟硬一體化能力,提供了便捷的使用體驗,助力企業(yè)快速、穩(wěn)定地落地大模型技術(shù)。為推動產(chǎn)業(yè)健康發(fā)展,中國信通院人工智能研究所聯(lián)合業(yè)界單位制定了可信AI大模型一體機(jī)行業(yè)標(biāo)準(zhǔn)。
“可信AI大模型一體機(jī)評估體系1.0”涵蓋了通用大模型一體機(jī)、專用大模型一體機(jī)和場景大模型一體機(jī)三大評估類別。其中,通用大模型一體機(jī)評估包括訓(xùn)推一體機(jī)、推理一體機(jī)、MoE模型專項和推理性能專項等;專用大模型一體機(jī)評估則針對基礎(chǔ)模型一體機(jī)、智能體一體機(jī)、代碼大模型一體機(jī)、金融一體機(jī)、政務(wù)一體機(jī)、教育一體機(jī)、工業(yè)一體機(jī)等;場景大模型一體機(jī)評估則聚焦于智能客服一體機(jī)、智能風(fēng)控一體機(jī)、智能決策一體機(jī)、BI一體機(jī)、智能編碼工具一體機(jī)等。
問道以芯的“異構(gòu)存力推理機(jī)”采用了創(chuàng)新的CXL硬件設(shè)備與消費級GPU、CPU配置相結(jié)合,通過優(yōu)化CXL無序IO和BIOS,有效解決了大模型推理場景中因內(nèi)存墻和數(shù)據(jù)墻導(dǎo)致的硬件性能下降問題。該產(chǎn)品支持DeepSeek、Qwen等通用大模型及定制化大模型,并在llama.cpp框架下展現(xiàn)出高效率,顯著降低了推理側(cè)對GPU性能的需求,從而減少了硬件成本。
該推理機(jī)還具備靈活的IO配置能力,支持異步IO和分散-聚集IO,實現(xiàn)了IO優(yōu)先級調(diào)度。這一方案有效緩解了傳統(tǒng)IO操作因資源競爭導(dǎo)致的阻塞問題,使算力設(shè)備在更高效區(qū)間運行。在實際應(yīng)用中,當(dāng)運行DeepSeek-R1 70B模型時,推理機(jī)會將大部分內(nèi)存資源和IO資源傾斜向GPU,以確保其高效運行;而當(dāng)運行更大規(guī)模的DeepSeek-R1 671B模型時,由于GPU顯存和帶寬不足,推理機(jī)會通過CXL IO支持GPU計算,同時利用主內(nèi)存IO支持CPU計算,將推理任務(wù)卸載至多設(shè)備,以保證更好的輸出結(jié)果。

“問道以芯異構(gòu)存力推理機(jī)”產(chǎn)品實物圖
展望未來,問道以芯將繼續(xù)秉承“先進(jìn)芯片技術(shù)國產(chǎn)化、IP自主化、產(chǎn)品本地化”的理念,依托黃浦區(qū)的人才、產(chǎn)業(yè)和資本優(yōu)勢,以全自主知識產(chǎn)權(quán)重塑AI基礎(chǔ)設(shè)施。在“一帶一區(qū)硬科技”的戰(zhàn)場上,問道以芯將持續(xù)沖鋒前行,與合作伙伴強(qiáng)強(qiáng)聯(lián)合,共同構(gòu)建AI服務(wù)器異構(gòu)計算互聯(lián)的生態(tài)體系。






