作者：蛋醬
三個多月前，機器之心向剛剛誕生的文心一言提過一個問題：
「設有三個房間，每個房間都有?個開關，其中?個控制著同?樓層的?個電燈。你現(xiàn)在在開關所在的樓層，不能看到電燈所在的樓層。你只能上樓?次，然后必須確定哪個開關對應哪個電燈。請問如何推理以確定正確的開關？」
對于大部分人，這道邏輯推理題確實有點繞，對于當時的文心一言來說亦有難度。從結(jié)果中，我們可以看出文心一言進行了分析，有思維鏈，但忽略了「只能上樓一次」這個條件，所以最后給出的結(jié)果并不是完全正確的：
但今天，站在你面前的，是基于「文心大模型 3.5」的文心一言。
面對同一個問題，現(xiàn)在它的回答是這樣的：
從三月中旬推出到現(xiàn)在，文心一言始終在悄悄努力變優(yōu)秀。這種變化的背后，是文心大模型的不斷進化、迭代。
上個月，百度文心大模型正式從 3.0 升級到 3.5，不僅實現(xiàn)了創(chuàng)作、問答、推理和代碼能力上全面升級，安全性顯著提升，訓練和推理速度也大幅提升。
在今天開幕的世界人工智能大會上，作為國產(chǎn)大模型的代表之作，文心大模型 3.5 毫不意外地吸引了眾人的目光。
WAIC 產(chǎn)業(yè)全體論壇上，百度首席技術官王海峰帶來了文心大模型 3.5 的深入解讀。
現(xiàn)場，王海峰展示了一組數(shù)據(jù)：通過各項算法和數(shù)據(jù)的優(yōu)化，相比于 3.0 版本，文心大模型 3.5 的模型效果累計提升超過 50%，訓練速度提升了 2 倍，推理速度提升了 30 倍。
對文心一言的所有個人及企業(yè)用戶乃至全行業(yè)來說，這意味著一個新的階段。
最新版文心一言，做了哪些改變？
作為百度自主研發(fā)的大模型體系，文心大模型的誕生要追溯到 2019 年 3 月，發(fā)展到現(xiàn)在文心的基礎模型涵蓋了 NLP、視覺、跨模態(tài)等多個領域，每個領域涵蓋不同的能力模型，比如對話模型、代碼生成模型、文圖生成模型等。
到了 2021 年，文心 3.0 已是百億級別的大模型。演變至今，文心大模型已從最初的自然語言理解大模型，發(fā)展成了跨語言、跨模態(tài)、跨任務、跨行業(yè)的能力完備的大模型平臺。
在文心大模型 3.5 加持的文心一言中，問答、推理、代碼、文生圖等能力都向前邁了一步。這些變化，文心一言的用戶們在對話過程中也能體會到。這里，我們通過幾個例子感受一下：
「瘋狂星期四是什么？」「為什么很多人都在說 V 我 50？」如果一位 2g 沖浪的網(wǎng)友抱有這個疑惑，去問 3.0 版本加持的文心一言，得到的回答可能是這樣的：
而現(xiàn)在，3.5 版本加持的文心一言不僅能夠給出正確答案，還能進一步解釋「瘋狂星期四」的名詞來源、活動背景等信息，甚至還能指導你參與活動。而且對于「V 我 50」這個流行語，文心一言 3.5 還能找到最早的出處。
再試試代碼能力。下面是「生成一個斐波那契數(shù)列」的對比：
最新生成的結(jié)果，額外解釋了斐波那契數(shù)列的概念，并給出了簡潔的 Python/ target=_blank class=infotextkey>Python 代碼：
同樣的領悟能力提升還體現(xiàn)在「文生圖」上，下面這張是機器之心在三月份的測試結(jié)果，從風格上說更偏 CG 繪畫：
而最新生成的結(jié)果更加符合人們熟悉的二次元風格了：
此外，在最新版本的文心一言中，用戶感受到的一大變化是引入了插件機制，目前提供了兩個選項：
第一個是默認內(nèi)置插件「百度搜索」，使得文心一言具備生成實時準確信息的能力。
我們知道，如果不接入互聯(lián)網(wǎng)，對話式 AI 所提供的信息通常會受到訓練數(shù)據(jù)輸入時間的限制。但現(xiàn)在，你能問它許多「新鮮熱乎」的問題了。
比如，向文心一言提問：「最近的熱門電視劇有哪些？」
提問時間：2023 年 7 月 6 日
再比如，要求文心一言繪制出近日北京市的氣溫變化情況：
為了求證文心一言引用的數(shù)據(jù)是否準確，我們也用百度搜索了今天北京市的氣溫情況。唯一不夠全面的點在于，7 月 6 日北京市氣象臺發(fā)布了高溫紅色預警信號，北京市部分地區(qū)最高氣溫可達 40℃以上。
第二個插件是「ChatFile」，可基于長文檔進行問答和摘要。
比如，機器之心某天有一篇新的論文要讀，字數(shù)很多，方法很前沿，這時文心一言就能助一臂之力：
目前，使用 ChatFile 插件的前提是文件基于 PDF 或 Doc 格式，暫不支持掃描件，大小需要在 10MB 之內(nèi)。
王海峰表示：「插件機制的引入，將進一步擴展大模型能力的邊界，也是構(gòu)建大模型生態(tài)過程中非常重要的機制。」下一階段，文心一言將發(fā)布更多優(yōu)質(zhì)的百度官方和第三方插件，讓用戶能夠更好地應用文心大模型。同時，文心一言也將逐步開放插件生態(tài)給第三方開發(fā)者，幫助開發(fā)者基于文心大模型打造自己的應用。
技術創(chuàng)新的「疊加效應」
至此，我們已經(jīng)直觀地體會到了文心大模型 3.5 帶來的變化。
而這些革新，又是如何實現(xiàn)的呢？
王海峰介紹說，文心一言 ERNIE Bot 是在 ERNIE 及 PLATO 系列模型的基礎上研發(fā)的，其核心技術包括六個模塊：知識增強、檢索增強、對話增強、有監(jiān)督精調(diào)、人類反饋的強化學習、提示。
其中，有監(jiān)督精調(diào)、人類反饋的強化學習、提示是大語言模型的通用技術，而知識增強、檢索增強、對話增強則屬于百度的特有技術，也是文心一言不斷進化的基礎思路。
知識增強的意義十分關鍵，其實從英文名稱「ERNIE」（Enhanced Representation from kNowledge IntEgration）就可以看出，文心大模型的成長與知識增強是密不可分的。知識增強的大語言模型不只能從原始數(shù)據(jù)中進行學習，還可以從知識和數(shù)據(jù)中進行融合學習，這也是提升大模型最終效果和效率的關鍵。
在知識增強方面，文心一言的知識增強主要是通過知識內(nèi)化和知識外用兩種方式。知識內(nèi)化是從大規(guī)模知識和無標注數(shù)據(jù)中，基于語義單元學習，利用知識構(gòu)造訓練數(shù)據(jù)，將知識學習到模型參數(shù)中，知識外用是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等等。
在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術的新一代搜索架構(gòu)。通過引入搜索結(jié)果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。
在對話增強方面，基于對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。
在這次文心大模型 3.5 的打造過程中，百度團隊圍繞其進行的一系列創(chuàng)新和優(yōu)化。
首先，文心大模型 3.5 在基礎模型訓練中采用了飛槳最先進的自適應混合并行訓練技術及混合精度計算策略，采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，加快了模型的迭代速度，同時提升了模型效果和安全性。
其次，文心大模型 3.5 創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術，使模型效果及場景適配能力進一步提升。隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。
此外，在知識增強和檢索增強的基礎上，百度團隊進一步提出了「知識點增強技術」，首先是對用戶輸入的查詢、問題等進行分析理解，并解析生成答案所需要的相關知識點，之后運用知識圖譜和搜索引擎為這些知識點找到相應答案，最后用這些知識點構(gòu)造輸入給大模型的提示。知識點增強技術能為大模型注入更具體、更詳細、更專業(yè)的知識點，顯著提升大模型對世界知識的掌握和運用，使其完成各項任務的效果顯著提升。
最后，在推理方面，通過大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、粗粒度與細粒度語義知識組合以及符號神經(jīng)網(wǎng)絡技術，顯著提升文心大模型 3.5 在邏輯推理、數(shù)學計算及代碼生成等任務上的表現(xiàn)。
找到大模型落地的正確打開方式
大模型的出現(xiàn)，已經(jīng)改變了 IT 行業(yè)的整個技術棧架構(gòu)。在人工智能時代之前，IT 技術棧通常是三層架構(gòu)：芯片層、操作系統(tǒng)層、應用層。當人工智能時代來臨之后，技術棧變?yōu)樗膶蛹軜?gòu)：芯片層、框架層、模型層、應用層。
百度從 2010 年開始全面布局人工智能，是全球為數(shù)不多、進行全棧布局的人工智能公司。目前，從芯片層的昆侖芯片、框架層的飛槳深度學習平臺、模型層的文心大模型到應用層的搜索、小度、Apollo 等，百度在技術棧的各層都有領先業(yè)界的關鍵自研技術，實現(xiàn)了層與層反饋，端到端優(yōu)化，大幅提升效率。
在現(xiàn)場，王海峰還透露了飛槳的一個最新數(shù)字。飛槳迄今已經(jīng)凝聚 750 萬名開發(fā)者，這是百度 2023 年以來首次對外披露飛槳生態(tài)最新數(shù)據(jù)。位于框架層的飛槳是國內(nèi)首個自主研發(fā)的產(chǎn)業(yè)級深度學習開源開放平臺，并在國內(nèi)的深度學習平臺綜合市場份額上連續(xù)兩年位居第一。
最新的文心大模型 3.5 同樣經(jīng)歷了四層架構(gòu)的端到端優(yōu)化，尤其是框架和模型層的協(xié)同優(yōu)化，讓訓練速度、模型效果加速提升。
大模型熱潮已持續(xù)半年，卻未有退潮的趨勢，但在火熱的技術進展和產(chǎn)品迭代之外，我們應該關心的下一步是：如何落地應用。
正如百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏所言：「新的國際競爭戰(zhàn)略關鍵點，不是一個國家有多少個大模型，而是你的大模型上有多少原生的 AI 應用，這些個應用在多大程度上提升了生產(chǎn)效率?！?/p>
文心一言的實踐，或許能夠為行業(yè)提供一些可借鑒的經(jīng)驗。
面向 C 端用戶，文心一言 App 的上線與插件機制的引入，能夠幫助文心一言打造一個「終端 + 平臺＋生態(tài)」的完整系統(tǒng)，探索 ToC 商業(yè)化模式。
面向 B 端市場，一般的通用大模型往往缺乏具體、專業(yè)的場景支持，而文心一言正在積極應用到各種應用場景，比如智能辦公、智能會議、智能編程、智能營銷、智能媒體、智能教育、智能金融等。在文心一言之外，百度還擁有 11 個行業(yè)大模型，覆蓋交通、能源等重點領域。
例如，百度「如流」已經(jīng)基于文心一言的能力上線了「智能總結(jié)」、「超級助手」等多個新功能，不僅能幫助總結(jié)工作溝通要點，實時記錄會議內(nèi)容，形成會議議題、摘要及總結(jié)等關鍵信息，還可以通過各類插件完成指令任務，包括查詢?nèi)粘獭?chuàng)建會議、設置待辦、申請休假等。
對于編程工作，百度的智能編碼助手 Comate 能夠根據(jù)自然語言的描述，生成對應的代碼片段，還支持在代碼編輯區(qū)內(nèi)根據(jù)注釋自動生成代碼，提升開發(fā)效率：
當然，今天的大模型產(chǎn)業(yè)化其實還面臨著很大的挑戰(zhàn)，模型體積大、訓練難度高、算力數(shù)據(jù)需求高…… 對于任何一家公司，不管是模型提供方還是模型使用方，這些挑戰(zhàn)都是同樣存在的且不容忽視的。
因此，想要在技術突破之后，走出產(chǎn)業(yè)化的關鍵一步，就必須將復雜的事情簡單化，同時將落地的成本打下來。這也是以百度為代表的大模型生產(chǎn)廠商正在探索的道路：封裝已有的、復雜的模型生產(chǎn)過程，并開放精調(diào)、推理、部署的各項工具，讓用戶能夠「上手即用」。
在理想的狀態(tài)下，未來的任何一家企業(yè)，都只需要提供業(yè)務需求和少量精調(diào)數(shù)據(jù)，就能在短時間內(nèi)找到合適的模型并完成場景適配。借此，眾多大模型才能真正釋放的力量，有效支撐千行百業(yè)的應用。
