近日，寒武紀(jì)正式發(fā)布第三代云端AI芯片思元370、基于思元370的兩款加速卡MLU370-S4和MLU370-X4、全新升級的Cambricon Neuware軟件棧。
回顧今年年初1月，寒武紀(jì)思元290智能芯片及加速卡、玄思1000智能加速器在官網(wǎng)低調(diào)發(fā)布，這是寒武紀(jì)今年發(fā)布的第二款產(chǎn)品，這在業(yè)界實(shí)屬難得。畢竟芯片行業(yè)基本2-3年推出一款或一代芯片，外加根據(jù)不同客戶需要，還要1-2年的適配導(dǎo)入周期。
先從三個方面，解讀下本次寒武紀(jì)370的優(yōu)勢所在。
在架構(gòu)上，思元370屬于寒武紀(jì)第四代自研智能芯片架構(gòu)，第一代架構(gòu)MLUarch00主打智能加速IP核，第二代MLUarch01主打多核架構(gòu)，第三代MLUarch02主打多核共享片內(nèi)存儲，第四代MLUarch03更是寒武紀(jì)首款采用chiplet（芯粒）技術(shù)的AI芯片，在國內(nèi)應(yīng)該也屬于行業(yè)首顆chiplet AI芯片。
在應(yīng)用場景靈活性上，由于思元370在一顆芯片中封裝2顆AI計算芯粒（MLU-Die），每一個MLU-Die都具備獨(dú)立的AI計算單元、內(nèi)存、IO以及MLU-Fabric控制和接口，不同MLU-Die可以組合規(guī)格多樣化的產(chǎn)品，為用戶提供適用不同場景的高性價比AI芯片。
在算力上，基于臺積電7nm制程工藝、整體集成390億個晶體管的思元370最大算力達(dá)到256TOPS（INT8），相比上一代思元270算力直接翻倍。
此外，思元370，不僅可以作為推理芯片，也可以作為訓(xùn)練芯片使用。這樣做的好處不僅是寒武紀(jì)自己的產(chǎn)品能夠兼顧訓(xùn)練與推理，也方便客戶全流程的模型部署、業(yè)務(wù)落地。
實(shí)際上，寒武紀(jì)發(fā)布的首顆訓(xùn)練芯片思元290，在訓(xùn)練為主的同時也可以進(jìn)行推理。借助Cambricon Neuware軟件棧提供的軟件及應(yīng)用生態(tài)，就可以在思元290芯片上實(shí)現(xiàn)圖形圖像、語音、NLP、搜索推薦等多種應(yīng)用的訓(xùn)練和推理。
此次思元370發(fā)布，Cambricon Neuware進(jìn)一步整合了訓(xùn)練和推理的全部底層軟件棧，包括底層驅(qū)動、運(yùn)行時庫、算子庫以及工具鏈等，將MagicMind和深度學(xué)習(xí)框架Tensorflow、Pytorch深度融合，實(shí)現(xiàn)訓(xùn)推一體。依托于訓(xùn)推一體，在寒武紀(jì)全系列計算平臺上，從云端到邊緣端，用戶均可以無縫地完成從模型訓(xùn)練到推理部署的全部流程，進(jìn)行靈活的訓(xùn)練推理業(yè)務(wù)混布和潮汐式的業(yè)務(wù)切換，加快了用戶端到端業(yè)務(wù)落地的速度，減少模型訓(xùn)練研發(fā)到模型部署之間的繁瑣流程，可快速響應(yīng)業(yè)務(wù)變化，提升算力利用率，降低運(yùn)營成本。
在外界看來，一代接著一代是分段的。但對于寒武紀(jì)來說，每一代架構(gòu)之間都是互相勾連、鑲嵌、攢接的，雖然每更新一代處理能力提升、效率優(yōu)化都很大，但代際之間并非替代關(guān)系，而是適配不同的市場，從而實(shí)現(xiàn)資源的最大化利用。比如思元370和思元290之間就不是替代的關(guān)系，因?yàn)榍罢咧饕峭评硇酒笳咧饕怯?xùn)練芯片，兩者是互補(bǔ)的關(guān)系。
以每一代的架構(gòu)為基礎(chǔ)，都可以開發(fā)出適合不同端的IP、芯片矩陣。而每一款芯片，又都會分成不同組件，比如按照十幾個組件設(shè)立十幾個研發(fā)小組，每個小組來做一個組件，最后把組件拼起來形成智能芯片。不同的小組可以根據(jù)項(xiàng)目需求，對組件進(jìn)行多種組合、拼接，并實(shí)現(xiàn)不同芯片功能組件上重疊部分的高效復(fù)用。
一方面，這就使得云、邊、端、車不同芯片擁有很多可以復(fù)用的組件與設(shè)計，讓“云邊端車”協(xié)同優(yōu)勢成為可能；另一方面，這也使得過去的積累不會因?yàn)闃I(yè)務(wù)線變化而浪費(fèi)，哪怕是現(xiàn)在總營收占比已經(jīng)很小的IP授權(quán)業(yè)務(wù)，對于其他覆蓋面更多的業(yè)務(wù)線，仍然有著生態(tài)拓展、技術(shù)復(fù)用的價值，比如在邊緣側(cè)智能芯片設(shè)計上復(fù)用。
