引言
又幾個月過去了，大模型（LLM）行業(yè)有什么新進(jìn)展、新趨勢？
（0）總結(jié)——太長不看
關(guān)鍵結(jié)論：
開源社區(qū)模型不具備真正智能，更好的小模型來自大模型的 Scale Down
GPT-4模型信息：采用MoE架構(gòu)，16個experts，800b參數(shù)
如何減少幻覺 hallucination？scaling/retrieval/reward model
指令遵循的開源小模型被過度炒作，已經(jīng)到達(dá)瓶頸，突破方向是更強(qiáng)的 Base Model 和更進(jìn)一步的反饋數(shù)據(jù)
用不了多久，大家會把80%算力從 TrAIning 轉(zhuǎn)向 Serving
預(yù)計未來模型的迭代節(jié)奏會很像手機(jī)系統(tǒng)：1-2 年更新一次大版本，中間有無數(shù)次小版本迭代；
中期來看，RLHF 不應(yīng)該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長期來看，小版本迭代的角度：隱私/權(quán)限的增強(qiáng)、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內(nèi)存，向量數(shù)據(jù)庫是 LLM 的硬盤
Robot Learning 已成為學(xué)界主流研究路線
（1）上一期報告回顧
3個月前，文章（The Age of AI：拾象大模型及OpenAI投資思考）介紹了拾象投研機(jī)構(gòu)對LLM的調(diào)研報告，內(nèi)容涉及：
① 什么是大模型？LLM是新一代通用計算機(jī)，windows 95 級別的計算機(jī)平臺；
② 從基礎(chǔ)模型到 Killer Apps，價值鏈如何被分配？OpenAI、Anthropic 為代表的基礎(chǔ)模型能力邊界不斷拓寬，占據(jù)價值鏈中最主要的環(huán)節(jié)；
③ 什么是 AI Native 應(yīng)用？AI Native 應(yīng)用不是語言模型的嵌套，而是對現(xiàn)有軟件服務(wù)的重構(gòu)；
④ LLM 浪潮下，科技巨頭們是如何和 LLM 做結(jié)合的？頂級CEO 們對于 LLM 尚未形成共識，未來 6 個月是重要的窗口期；
⑤ OpenAI 為什么能夠成為 LLM 最強(qiáng)王者？OpenAI 組織活力來自自上而下對 AGI 的堅定信仰、極高的人才密度，以及自下而上推動創(chuàng)新的實驗機(jī)制。
具體來說，對于LLM的幾個關(guān)鍵判斷：
① LLM是計算機(jī)，而OpenAI的GPT系列將成為Windows 95級別的計算機(jī)平臺
② LLM基礎(chǔ)模型拿走價值鏈的大頭（60%），其次是AI Infra基礎(chǔ)架構(gòu)、Killer Apps，各占20%。所以，大家紛紛發(fā)力訓(xùn)練大模型。
③ 從Mobile到LLM：大模型真正理解語言，數(shù)據(jù)組織效率和能力繼續(xù)加強(qiáng)。人機(jī)交互方式開始邁入新時代（CUI對話交互）
④ LLM的邊界：目前只是空有大腦，身體和感官還在逐步成長。
⑤ 下一步：給大腦裝上感官（多模態(tài)）以及手腳（插件/AutoGPT之類）
另外，LLM之上的應(yīng)用會是什么樣？全方位的重構(gòu)：交互、數(shù)據(jù)信息、服務(wù)以及反饋機(jī)制，一個可行的路子是AI Native軟件開發(fā)——把已有應(yīng)用按照LLM的能力圖譜重新設(shè)計一遍，對話式交互（CUI）走到前臺。
相對于應(yīng)用層，未來3-5年，AI-Infra的確定性機(jī)會更多，體現(xiàn)在模型層和工具層的各類應(yīng)用。
（2）最新報告：State of LLM
6月29日，時隔3個月，拾象投研團(tuán)隊再次發(fā)布LLM調(diào)研報告：State of LLM
精簡總結(jié)如下（原始報告獲取方式見尾部附錄）
繼續(xù)看好LLM，如火如荼、大動干戈的“千模大賽”到底在爭什么？下一代超級入口！
目前，OpenAI、Anthropic和google處于第一梯隊。
報告甚至將LLM訓(xùn)練復(fù)雜度比作“造原子彈”，每次發(fā)布堪稱“登月”，有些夸張，但LLM訓(xùn)練確實不容易。
過去的幾個月時間，已經(jīng)很多家公司發(fā)布自己的大模型，各有特色，燦若繁星：
開源系列羊駝大家族最為耀眼，英文名已經(jīng)“售罄”。
更多介紹見前文：ChatGPT復(fù)現(xiàn): 三步走+大模型進(jìn)化圖譜
其中不少LLM宣稱達(dá)到或趨近ChatGPT/GPT-4的80-90%，大家也都體驗過，可圈可點
上次的有偏評測（約120道題）中，初步探了探底：
詳見文章：千模大賽哪家強(qiáng)？大語言模型中文評測實踐。
報告里關(guān)于LLM訓(xùn)練的事實和觀點：
預(yù)訓(xùn)練：GPT系列的成功主要源自于小創(chuàng)新，訓(xùn)練數(shù)據(jù)遠(yuǎn)超過其他大模型。
微調(diào)：GPT并非采用預(yù)訓(xùn)練一體的模型結(jié)構(gòu)。
獎勵模型：OpenAI 數(shù)據(jù)飛輪效應(yīng)有限，外部數(shù)據(jù)標(biāo)注分散給多家公司。
至于穩(wěn)坐神壇的GPT-4，這次報告明確指出：GPT-4采用MoE架構(gòu)，16個experts，800b參數(shù)，“吃掉”30T數(shù)據(jù)，訓(xùn)練消耗5萬張A100，推理用了3-4萬A100。而這只是開始，下一代模型重點是多模態(tài)，消耗的資源將更大更多，10萬張H100！
至于業(yè)界普遍看好的開源模型，這次報告波了盆冷水：開源社區(qū)模型不具備真正智能，更好的小模型來自大模型的 Scale Down
同時，報告還指出：指令遵循的開源小模型被過度炒作，已經(jīng)到達(dá)瓶頸，突破方向是更強(qiáng)的Base Model 和更進(jìn)一步的反饋數(shù)據(jù)。
LLaMA+指令微調(diào)≠GPT 3.5
怎么辦？開源社區(qū)開始“分工協(xié)作”，轉(zhuǎn)向 pre-train環(huán)節(jié)。
至于，盛傳的“開源大模型才是未來的贏家”，大家態(tài)度截然相反，客戶堅信，而研究者悲觀，算力、數(shù)據(jù)、時間差以及全棧產(chǎn)品鏈，不是一般開源組織玩得起的。
千模大賽還在繼續(xù)，熱潮還會持續(xù)多久？過于關(guān)注訓(xùn)練會不會浪費資源？
跟風(fēng)而上的浪潮終究會退下，到時候，少數(shù)人成為弄潮兒，而多數(shù)人被淹死，成為他人談資。
大模型訓(xùn)練塵埃落定后，新的浪潮是什么？大模型應(yīng)用，其中 Serving 是個難題。
報告里分析了什么時候80%算力從 Training 轉(zhuǎn)向 Serving？要看用戶群體，B/C/G 時間點各不相同。
B/G：私有化部署和小語種模型
C：終端推理解決隱私問題
產(chǎn)品上，目前主要簡單輔助，多模態(tài)、復(fù)雜推理問題解決后，才會帶來質(zhì)的飛躍。
成熟期時間軸上的刻度依次是 長程窗口、多模態(tài)、小模型天花板、模型壓縮等，B/C/G側(cè)應(yīng)用隨之逐步展開，Serving時刻到來。
預(yù)計未來模型的迭代節(jié)奏會很像手機(jī)系統(tǒng)：1-2 年更新一次大版本，中間有無數(shù)次小版本迭代；
中期來看，RLHF 不應(yīng)該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長期來看，小版本迭代的角度：隱私/權(quán)限的增強(qiáng)、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內(nèi)存，向量數(shù)據(jù)庫是 LLM 的硬盤；因而，向量數(shù)據(jù)庫成為LLM領(lǐng)域應(yīng)用的必備工具，大量vector store廠商成為投資熱門。
LLM應(yīng)用新趨勢：LLM扮演system 1，負(fù)責(zé)快思考，而LLM的Agent助手扮演system 2，負(fù)責(zé)慢思考（理性推導(dǎo)）
報告還提到了經(jīng)典的幻覺問題：
幻覺原因：模型學(xué)習(xí)了錯誤信息，模型只善于模仿語言風(fēng)格，而不能良好地判斷正確的信息
如何減少幻覺（hallucination）？
方法有：scaling/retrieval/reward model
① scaling：大模型小型化，降低幻覺頻率
② retrieval：通過檢索融入事實信息，糾正幻覺
③ reward model：用獎勵模型來鑒別幻覺
有了大模型的加持，學(xué)術(shù)界已經(jīng)把Robot Learning 做為主流研究路線
LLM+Robotics=？
軟件上，機(jī)器人大腦大幅升級；
硬件上，人形機(jī)器人熱度再起。
