鞭牛士報道,3月18日消息,據外電報道,埃隆·馬斯克 (Elon Musk) 的人工智能初創公司 xAI 邁出了重大一步,開源了其大型語言模型 (LLM) Grok。這意味著企業家、程序員、公司和個人現在可以訪問 Grok 的權重和文檔,從而允許他們將該模型的副本用于各種目的,包括商業應用。
Grok-1 是一個由 xAI 從頭開始訓練的 3140 億參數混合專家模型,現在可以在其 Github 頁面或通過 torrent 鏈接下載。
Grok 在 Apache License 2.0 下發布,允許商業使用、修改和分發。但是,用戶必須遵守某些要求,例如復制原始許可證和版權聲明并說明他們所做的更改。Grok 擁有 3140 億個參數,在復雜性和性能方面超越了開源競爭對手。該模型的架構融合了神經網絡設計的創新方法,將 25% 的權重用于給定的令牌,以提高效率和有效性。
此前,Grok 只能通過 Elon Musk 的社交網絡 X 通過 X Premium+ 付費訂閱服務訪問。然而,Grok 的開源并不包括其訓練數據的完整語料庫,也不提供對 X 上可用的實時信息的訪問。用戶仍然需要訂閱 X 的付費版本。
Grok 被定位為 OpenAI 的 ChatGPT 和其他領先的谷歌AI的競爭對手。它以意為理解的俚語命名,被描述為模仿《銀河系漫游指南》的人工智能。馬斯克將 Grok 定位為比其他谷歌AI更幽默、更不受審查的替代方案,這對擔心人工智能審查制度的用戶特別有吸引力。
Grok 的發布也是馬斯克在針對 OpenAI 的訴訟中的一種立場,指責該公司背離了其非營利協議。
Grok 的開源引起了人工智能社區的好奇和興奮。技術專家指出了該模型的有趣特征,例如在前饋層中使用 GeGLU 及其標準化方法,包括有趣的三明治范數技術。此版本預計會給其他 LLM 提供商(尤其是競爭對手的開源模型)帶來壓力,以向用戶證明其優勢。
總體而言,Grok的開源標志著人工智能技術發展的重大舉措。它為企業家、程序員和公司提供了更好的可訪問性和機會,可以將這種高級語言模型用于各種應用程序。隨著人工智能社區對 Grok 的探索和實驗,看看它如何塑造自然語言處理和人工智能進步的未來將會很有趣。
上個月,馬斯克還對 OpenAI 及其聯合創始人薩姆·奧爾特曼 (Sam Altman) 和格雷格·布羅克曼 (Greg Brockman) 提起訴訟,指控其執行營利性封閉源任務而違反合同。
OpenAI 隨后發表了一篇博文,聲稱馬斯克最早在 2015 年就同意轉向盈利模式。
一月份,馬斯克否認了xAI 正在籌集資金的說法,稱他尚未就這樣做的計劃進行過任何對話。馬斯克去年 7 月推出了 xAI,作為 OpenAI 和其他人工智能公司的競爭對手,隨后于 11 月推出了 Grok 語言模型。