meta公司近期震撼發(fā)布了其全新的Llama 4系列人工智能模型，該系列包括Llama 4 Scout、Llama 4 Maverick及尚未完全公開的Llama 4 Behemoth，標(biāo)志著AI技術(shù)的新里程碑。
此次發(fā)布的亮點在于Llama 4系列首次引入了混合專家（MoE）架構(gòu)，這一創(chuàng)新設(shè)計通過將復(fù)雜任務(wù)分解給多個專業(yè)子模型處理，極大提升了模型訓(xùn)練和推理的效率。這些“專家”子模型各司其職，共同協(xié)作，使得Llama 4系列在處理多任務(wù)時更加游刃有余。
值得注意的是，Llama 4系列模型經(jīng)過海量多模態(tài)數(shù)據(jù)的嚴(yán)格訓(xùn)練，包括文本、圖像、視頻和音頻等多種格式，因此具備了出色的視覺理解和跨格式內(nèi)容轉(zhuǎn)換能力。這種全面的數(shù)據(jù)處理能力，使得Llama 4系列在多媒體應(yīng)用中展現(xiàn)出無與倫比的優(yōu)勢。
在上下文處理能力方面，Llama 4系列同樣令人矚目。特別是Llama 4 Scout，其上下文窗口高達(dá)1000萬個token，而Llama 4 Maverick也達(dá)到了100萬個token。這意味著它們可以輕松應(yīng)對超長文本輸入，如7500頁的文檔，為科研、工程、文學(xué)等領(lǐng)域提供了前所未有的支持。
目前，用戶已經(jīng)可以在Llama.com網(wǎng)站以及meta旗下的WhatsApp、Messenger、Instagram Direct等平臺體驗到Llama 4 Scout和Llama 4 Maverick的強大功能。據(jù)meta透露，Llama 4 Behemoth仍在緊鑼密鼓的訓(xùn)練中，預(yù)計將在未來某個時間點與大家見面。
具體來看，Llama 4 Scout憑借其170億活躍參數(shù)和16個“專家”模型（總參數(shù)達(dá)1090億），在文檔總結(jié)和代碼推理方面表現(xiàn)出色，且僅需單個NVIDIA H100 GPU即可運行，非常適合高效信息提取和復(fù)雜邏輯推理任務(wù)。而Llama 4 Maverick則擁有更龐大的170億活躍參數(shù)和128個“專家”模型（總參數(shù)量高達(dá)4000億），在創(chuàng)意寫作、翻譯和圖像處理等方面均展現(xiàn)出卓越性能，超越了眾多競爭對手。
至于Llama 4 Behemoth，作為系列中的旗艦產(chǎn)品，它配備了驚人的2880億活躍參數(shù)和接近2萬億的總參數(shù)，使其在多個STEM基準(zhǔn)測試中獨占鰲頭，充分證明了其強大的問題解決能力。
