11月5日，騰訊混元宣布最新開源的MoE模型“混元Large”和圖文生3D模型正式上線。騰訊云TI平臺也宣布同步開放接入，為廣大用戶、開發(fā)者提供一站式精調(diào)、API調(diào)用及私有化部署服務(wù)。
混元Large模型擁有3890億總參數(shù)量、520億激活參數(shù)量，并支持256K上下文長度，是目前業(yè)界參數(shù)規(guī)模最大、性能領(lǐng)先的開源MoE模型。基于MoE（Mixture of Experts）結(jié)構(gòu)的優(yōu)越性，混元Large在推理速度和參數(shù)規(guī)模之間取得平衡，顯著提升了模型的處理能力。測試結(jié)果顯示，混元Large在CMMLU、MMLU、Ceval、AGIeval等多學(xué)科評測集以及中英文NLP任務(wù)、代碼、數(shù)學(xué)等9大維度表現(xiàn)出色，超越Llama3和Mixtral等主流開源模型。
騰訊云TI平臺在國內(nèi)首批完成混元大模型的適配和上架，為企業(yè)和開發(fā)者提供一鍵精調(diào)和推理服務(wù)，進(jìn)一步擴(kuò)展了騰訊云在大模型領(lǐng)域的生態(tài)布局，為產(chǎn)業(yè)智能化升級提供了強(qiáng)有力的技術(shù)和平臺支持。騰訊混元大模型之外，目前平臺也已廣泛接入了Llama 3、Baichuan等市場主流開源大模型，支持快速發(fā)起訓(xùn)練任務(wù)或部署推理服務(wù)，使用流程簡單、開發(fā)效率高。
實戰(zhàn)導(dǎo)向的大模型精調(diào)工具鏈，提升企業(yè)業(yè)務(wù)效能
騰訊云TI平臺致力于打造實戰(zhàn)型大模型精調(diào)工具鏈，幫助用戶訓(xùn)練出符合業(yè)務(wù)需求的高效模型，縮短開發(fā)周期并提升研發(fā)效率。平臺支持靈活的數(shù)據(jù)準(zhǔn)備和標(biāo)注流程，并提供一鍵啟動精調(diào)和推理任務(wù)的功能，大幅簡化企業(yè)級用戶的操作流程。
精調(diào)之前的數(shù)據(jù)準(zhǔn)備從繁瑣的數(shù)據(jù)清洗到耗時的數(shù)據(jù)標(biāo)注都需要一個高效的工具平臺，一份高質(zhì)量的訓(xùn)練數(shù)據(jù)對精調(diào)模型達(dá)標(biāo)起著至關(guān)重要的作用。騰訊云 TI 平臺沉淀了優(yōu)圖算法專家清洗大模型訓(xùn)練數(shù)據(jù)的優(yōu)質(zhì)Pipeline，支持開箱即用。平臺面向大語言模型和多模態(tài)大模型的標(biāo)注工具非常靈活，基于數(shù)據(jù)集 Schema，可完全自定義工作臺，支持的大模型標(biāo)注場景包括但不限于高質(zhì)量文本問答對篩選、文本數(shù)據(jù)清洗、圖片問答對審核/修改、圖片問答競品評測、圖片多輪問答、多模態(tài)閱讀理解、圖片文本描述等所有文生文、圖生文類的場景。騰訊云TI 平臺具備卓越的云原生特性，對接用戶的云文件系統(tǒng)后，無需數(shù)據(jù)拷貝，標(biāo)注結(jié)果直接保存在原文件路徑。
在精調(diào)訓(xùn)練階段，騰訊云TI平臺內(nèi)置了騰訊混元模型及其他主流開源模型，用戶可以一鍵發(fā)起精調(diào)任務(wù)。通過硬件容錯、容器調(diào)度、任務(wù)斷點續(xù)訓(xùn)的三層保障機(jī)制，平臺確保大規(guī)模訓(xùn)練任務(wù)的穩(wěn)定性。另外，借助騰訊自研的Angel加速機(jī)制，騰訊云TI平臺整體提升了訓(xùn)練性能30%，不僅加快了混元大模型的精調(diào)過程，還有效降低了資源消耗。
與此同時，騰訊云TI平臺還提供了一整套完善的模型評測工具，包括在線輕量體驗、客觀評測以及主觀評測。這些評測功能讓企業(yè)能夠根據(jù)實際業(yè)務(wù)需求，對模型效果進(jìn)行全方位的驗證，確保在應(yīng)用場景中的高效表現(xiàn)。
全面適配國產(chǎn)算力，滿足異構(gòu)計算需求
目前，騰訊云TI平臺已完成對國產(chǎn)計算卡的適配，有效滿足了相關(guān)企業(yè)對安全性和獨立性的高標(biāo)準(zhǔn)要求。
在適配過程中，騰訊云憑借騰訊優(yōu)圖實驗室在相關(guān)訓(xùn)練方面的豐富經(jīng)驗，成功應(yīng)對了千卡規(guī)模集群中的多項技術(shù)挑戰(zhàn)。最新支持異構(gòu)算力的統(tǒng)一納管，實現(xiàn)了ARM架構(gòu)和X86架構(gòu)芯片服務(wù)器算力資源可通過一個控制臺進(jìn)行統(tǒng)一納管，在當(dāng)下算力資源緊張的情況下，幫助客戶最大限度整合現(xiàn)有資源。
通過優(yōu)化系統(tǒng)架構(gòu)和技術(shù)流程，騰訊云TI平臺有效解決了性能、兼容性等關(guān)鍵問題，確保了混元大模型在國產(chǎn)硬件上的流暢運行，保障用戶在自主可控環(huán)境中仍然可以獲得卓越的算力和推理性能。
推動大模型生態(tài)建設(shè)，助力行業(yè)智能化轉(zhuǎn)型
混元大模型成功上架騰訊云TI平臺，標(biāo)志著騰訊云在大模型生態(tài)建設(shè)上邁出全新一步。目前，騰訊在大模型領(lǐng)域已經(jīng)構(gòu)建了一套全鏈路產(chǎn)品矩陣，涵蓋從底層豐富基礎(chǔ)設(shè)施到頂層多元智能應(yīng)用。包括自研通用大模型、模型開發(fā)平臺、智能體開發(fā)平臺，以及針對不同場景定制的智能應(yīng)用解決方案等。通過這些產(chǎn)品和方案，致力于助力企業(yè)客戶高效地將大模型技術(shù)應(yīng)用到實際業(yè)務(wù)場景中，實現(xiàn)快速部署和價值創(chuàng)造。
在醫(yī)療行業(yè)，騰訊云攜手上海市數(shù)字醫(yī)學(xué)創(chuàng)新中心，共研醫(yī)學(xué)大模型，目前在瑞金醫(yī)院實現(xiàn)了總檢報告和電子病歷生成等相關(guān)項目的落地應(yīng)用。以體檢報告生成為例，平均每5秒即可自動生成一份總檢報告，為醫(yī)生節(jié)約50%+的撰寫時間。
在文娛行業(yè)，閱文集團(tuán)一直利用大模型能力持續(xù)提升其用戶寫作和插圖制作效率，但面臨模型迭代快、更新復(fù)雜和推理成本高昂等問題。騰訊云TI平臺的應(yīng)用簡化了模型訓(xùn)練配置，通過加速框架提升了推理速度，同時提供了易于使用的管理工具，助力持續(xù)解決上述難題。
大模型時代，算力、網(wǎng)絡(luò)、數(shù)據(jù)構(gòu)成了底層基礎(chǔ)設(shè)施的“鐵三角”。除了提供一站式AI大模型服務(wù)之外，騰訊云還為客戶提供了HCC高性能計算集群、星脈高性能計算網(wǎng)絡(luò)以及向量數(shù)據(jù)庫等基礎(chǔ)設(shè)施服務(wù)。
不斷為千行百業(yè)打造行業(yè)大模型解決方案的同時，騰訊云也在積極參與行業(yè)大模型標(biāo)準(zhǔn)的制定。在金融領(lǐng)域，騰訊云與信通院合作，發(fā)布了國內(nèi)首個金融行業(yè)大模型標(biāo)準(zhǔn)，為智能化發(fā)展和大模型的安全合規(guī)提供了支持；在醫(yī)療健康領(lǐng)域，騰訊參與編寫的《人工智能大模型賦能醫(yī)療健康產(chǎn)業(yè)白皮書（2023年）》已發(fā)布，旨在推動醫(yī)療健康大模型的發(fā)展并提出標(biāo)準(zhǔn)建議。
與此同時，騰訊還被選舉為全國信標(biāo)委人工智能分委會委員兼副秘書長單位，作為核心成員，承擔(dān)了更多標(biāo)準(zhǔn)制定工作以及技術(shù)引領(lǐng)作用。未來，騰訊云將持續(xù)優(yōu)化技術(shù)，推動大模型生態(tài)建設(shè)，加速千行百業(yè)應(yīng)用落地，為各行業(yè)的數(shù)字化轉(zhuǎn)型提供有力支持。
