【ITBEAR】微軟公司近日宣布了一項重大開源成果——bitnet.cpp，這一創(chuàng)新框架專為1-bit大語言模型（LLM）設計，旨在實現(xiàn)超高效推理。通過bitnet.cpp，用戶無需依賴GPU，即可在本地設備上流暢運行規(guī)模達1000億參數(shù)的語言模型。
bitnet.cpp不僅帶來了6.17倍的速度提升，還顯著降低了能耗，降幅高達82.2%。這一突破解決了傳統(tǒng)大語言模型對GPU和電力的高需求問題，使得小型企業(yè)和個人用戶也能以較低成本享受AI技術。
該框架支持1-bit LLMs的高效計算，并優(yōu)化了內(nèi)核以最大化CPU推理性能。目前，bitnet.cpp已支持ARM和x86 CPU，未來還計劃擴展至NPU、GPU和移動設備。
根據(jù)測試結果，bitnet.cpp在ARM CPU上的加速比為1.37x至5.07x，x86 CPU上則為2.37x至6.17x，能耗減少55.4%至82.2%。
bitnet.cpp的推出有望重塑LLMs的計算范式，減少對硬件的依賴，為本地LLMs的發(fā)展鋪平道路。同時，它還能增強隱私保護，降低數(shù)據(jù)發(fā)送至外部服務器的需求。微軟的“1-bit AI Infra”計劃中，bitnet.cpp扮演著舉足輕重的角色。
