【ITBEAR】在AI領域，一場關于預訓練的堅定承諾引發(fā)了廣泛關注。2024年10月16日，零一萬物公司的創(chuàng)始人兼CEO李開復公開表示，公司將堅持預訓練的道路，絕不輕言放棄。同日，零一萬物發(fā)布了其最新的MoE架構旗艦大模型——Yi-Lightning，這是該公司五個月來首次更新模型動態(tài)。
據(jù)李開復介紹，Yi-Lightning的訓練成本極低，僅使用了2000張GPU，耗時一個半月，總成本約300多萬美元，這僅是埃隆·馬斯克的xAI成本的1%至2%。盡管成本低廉，但Yi-Lightning在性能上并未妥協(xié)。在加州大學伯克利分校LMSYS團隊的Chatbot Arena總榜單上，Yi-Lightning與xAI的Grok-2-08-13模型并列第六，并超越了OpenAI的GPT-4o-2024-05-13。
在特定能力上，Yi-Lightning也展現(xiàn)出了強勁的實力。在中文能力上，它與OpenAI的最新模型o1-mini版本并列第二；在數(shù)學能力上，Yi-Lightning與Gemini-1.5-Pro-002并列第三，僅次于在數(shù)學和邏輯推理方面表現(xiàn)突出的o1。
在定價策略上，Yi-Lightning也創(chuàng)下了零一萬物模型的最低定價：0.99元/百萬Token，這一價格策略無疑將增強其在市場上的競爭力。
在發(fā)布會上，零一萬物展示了Yi-Lightning在實用性方面的顯著提升。與2024年5月發(fā)布的Yi-Large相比，Yi-Lightning的首包時間縮短了一半，最高生成速度提升了近四倍。在翻譯場景中，Yi-Lightning的表現(xiàn)尤為突出，其翻譯速度更快，且翻譯結果更加準確、流暢。
李開復還揭秘了Yi-Lightning的訓練策略，包括獨特的混合注意力機制、動態(tài)Top-P路由機制以及多階段訓練等，這些策略共同提升了模型的性能和推理效率。
除了C端的生產力產品“萬知”外，零一萬物在B端商業(yè)化方面也取得了新的進展。他們推出了聚焦零售和電商等場景的AI 2.0數(shù)字人，該數(shù)字人背后是多模態(tài)協(xié)同訓練的大模型，包括電商話術大模型、角色大模型和直播聲音大模型。目前，AI 2.0數(shù)字人已經接入了Yi-Lightning，用戶只需輸入商品信息、聲音性別和語調，即可生成相應的數(shù)字人形象。
面對大模型發(fā)展的深水區(qū)，李開復表示，盡管預訓練的成本較高，但中國的六家大模型公司只要有足夠的人才和決心，融資和芯片都不會是問題。他們將繼續(xù)在預訓練的道路上堅定前行。
