在中國信息通信研究院（中國信通院）近期組織的“可信AI大模型一體機(jī)評估體系1.0”評估活動中，一家黃浦區(qū)重點扶持的創(chuàng)新企業(yè)——問道以芯，憑借其自主研發(fā)的“異構(gòu)存力推理機(jī)”，成功通過了推理性能專項評估，躋身國內(nèi)首批完成該體系評估的企業(yè)行列。
問道以芯，這家成立于2021年的新興企業(yè)，致力于構(gòu)建國產(chǎn)自主的AI及高性能計算開放集群，專注于研發(fā)解決核心技術(shù)難題的產(chǎn)品。2024年，問道以芯在第四屆“海聚英才”全球創(chuàng)新創(chuàng)業(yè)大賽中榮獲銀聚獎，并隨后落戶黃浦區(qū)。今年3月，該公司攜手黃浦科創(chuàng)集團(tuán)和江蘇未來網(wǎng)絡(luò)集團(tuán)，共同發(fā)布了基于全自主知識產(chǎn)權(quán)新存力運力架構(gòu)的AI大模型云邊端協(xié)同一體機(jī)原理機(jī)。經(jīng)過數(shù)月的努力，問道以芯于6月正式推出了工程化產(chǎn)品——“異構(gòu)存力推理機(jī)V1”，為中央科創(chuàng)區(qū)的“硬科技”產(chǎn)業(yè)生態(tài)注入了新活力。
隨著人工智能領(lǐng)域的蓬勃發(fā)展，特別是大模型時代的到來，企業(yè)對于如何高效支撐多場景人工智能模型的應(yīng)用需求愈發(fā)迫切。大模型一體機(jī)應(yīng)運而生，它集成了硬件資源、軟件平臺和大模型的軟硬一體化能力，提供了便捷的使用體驗，助力企業(yè)快速、穩(wěn)定地落地大模型技術(shù)。為推動產(chǎn)業(yè)健康發(fā)展，中國信通院人工智能研究所聯(lián)合業(yè)界單位制定了可信AI大模型一體機(jī)行業(yè)標(biāo)準(zhǔn)。
“可信AI大模型一體機(jī)評估體系1.0”涵蓋了通用大模型一體機(jī)、專用大模型一體機(jī)和場景大模型一體機(jī)三大評估類別。其中，通用大模型一體機(jī)評估包括訓(xùn)推一體機(jī)、推理一體機(jī)、MoE模型專項和推理性能專項等；專用大模型一體機(jī)評估則針對基礎(chǔ)模型一體機(jī)、智能體一體機(jī)、代碼大模型一體機(jī)、金融一體機(jī)、政務(wù)一體機(jī)、教育一體機(jī)、工業(yè)一體機(jī)等；場景大模型一體機(jī)評估則聚焦于智能客服一體機(jī)、智能風(fēng)控一體機(jī)、智能決策一體機(jī)、BI一體機(jī)、智能編碼工具一體機(jī)等。
問道以芯的“異構(gòu)存力推理機(jī)”采用了創(chuàng)新的CXL硬件設(shè)備與消費級GPU、CPU配置相結(jié)合，通過優(yōu)化CXL無序IO和BIOS，有效解決了大模型推理場景中因內(nèi)存墻和數(shù)據(jù)墻導(dǎo)致的硬件性能下降問題。該產(chǎn)品支持DeepSeek、Qwen等通用大模型及定制化大模型，并在llama.cpp框架下展現(xiàn)出高效率，顯著降低了推理側(cè)對GPU性能的需求，從而減少了硬件成本。
該推理機(jī)還具備靈活的IO配置能力，支持異步IO和分散-聚集IO，實現(xiàn)了IO優(yōu)先級調(diào)度。這一方案有效緩解了傳統(tǒng)IO操作因資源競爭導(dǎo)致的阻塞問題，使算力設(shè)備在更高效區(qū)間運行。在實際應(yīng)用中，當(dāng)運行DeepSeek-R1 70B模型時，推理機(jī)會將大部分內(nèi)存資源和IO資源傾斜向GPU，以確保其高效運行；而當(dāng)運行更大規(guī)模的DeepSeek-R1 671B模型時，由于GPU顯存和帶寬不足，推理機(jī)會通過CXL IO支持GPU計算，同時利用主內(nèi)存IO支持CPU計算，將推理任務(wù)卸載至多設(shè)備，以保證更好的輸出結(jié)果。
“問道以芯異構(gòu)存力推理機(jī)”產(chǎn)品實物圖
展望未來，問道以芯將繼續(xù)秉承“先進(jìn)芯片技術(shù)國產(chǎn)化、IP自主化、產(chǎn)品本地化”的理念，依托黃浦區(qū)的人才、產(chǎn)業(yè)和資本優(yōu)勢，以全自主知識產(chǎn)權(quán)重塑AI基礎(chǔ)設(shè)施。在“一帶一區(qū)硬科技”的戰(zhàn)場上，問道以芯將持續(xù)沖鋒前行，與合作伙伴強(qiáng)強(qiáng)聯(lián)合，共同構(gòu)建AI服務(wù)器異構(gòu)計算互聯(lián)的生態(tài)體系。
