隨著大語言模型的快速發展，大模型訓練及其應用落地面臨諸多挑戰。9月16日，在“掘力計劃”第24期活動中，白海科技技術負責人劉喆老師就大模型實踐中的 LLMOps 和 LLM Agent 做了主題分享。
劉喆老師總體負責白海科技 IDP LM 專屬大模型應用加速平臺及解決方案，有豐富的數據開發和架構經驗。他曾在百度、明略科技、人民搜索任職，負責包括AI開發生產平臺構建、大數據平臺構建和廣告監測全流程設計等。
視頻回放：https://juejin.cn/live/jpowermeetup24
一、夢中情“模”：大模型應用期望值管理
劉喆老師首先通過“夢中情人”的比喻，說明大多數人對理想對象的描述比較粗淺，難以給出明確具體的特征。他舉了多數人對夢中情人的描述僅僅是“好看”、“帥氣”的例子。劉喆老師進一步引申到大模型應用中，許多企業同樣無法明確表達自己的需求，只是簡單表示希望能達到類似 ChatGPT 的效果和功能。但 ChatGPT 是一個完整的系統產品，想要達到類似效果需要定義具體的應用場景、問題范圍、交互方式、輸出形式等，否則很難實現。劉喆老師指出，大模型應用第一步是明確需求，需要量化功能和效果指標，設定問題域和場景邊界，同時考慮交互模式、輸出形式等細節。否則很容易陷入沒有具體目標的漫無方向的開發。
二、開始實踐：大模型應用技術路徑選擇
討論完大模型應用目標，劉喆老師進一步梳理了大模型應用的技術路徑。
他首先說明，目前大模型應用主要有 prompt Engineering、量化微調、前綴調節、Lora 微調、全量微調等技術手段。這些技術各有優劣，prompt Engineering 不需要訓練，但上限受模型本身限制;量化微調可以降低訓練成本，但會損失模型能力;Lora 微調只調整部分參數，可大大降低成本，但對數據量要求較高。
其次，劉喆老師介紹了大模型應用的操作系統 LLMOps。它通過標準化、自動化和智能化，將模型訓練中的數據處理、模型調優、結果評估等步驟系統化，使開發者能更高效地完成大模型建設。
最后，為處理復雜任務，劉喆老師提出了 Agent 系統，它通過任務分解和多 Agent 協同，實現大模型的鏈式應用。但 Agent 系統也面臨穩定性等問題。
三、現實困境:大模型應用面臨挑戰
接下來，演講重點討論了大模型實際應用時面臨的困難。
數據方面，大模型對數據質量和規模要求極高，但高質量數據的收集標注又非常耗時;復雜任務需要的數據量也難以滿足。此外，不同 Agent 輸出之間的誤差累積也是一個問題。
在軟硬件方面，大批量數據的加載與訓練非常耗時，需要大量計算資源支持，但算力成本仍十分高昂;分布式集群環境也增加了調試難度。
模型能力方面，簡化問題、編碼、多輪交互等方面的能力都有待提高。單個 Agent 也難以完成復雜任務。
四、LLMOps 和 LLM Agent
劉喆老師介紹說，LLMOps 是大語言模型落地過程中的必要支撐。它可以提供模型訓練、測試、部署、監控等全流程的操作支持，使復雜的大模型應用過程標準化和系統化，從而降低用戶門檻。
他表示，當前 LLMOps 還處在建設階段，需要進一步完善數據處理、超參數調優、結果評估等方面的自動化功能。只有當 LLMOps 變得足夠成熟和易用時，再結合 LLM Agent，大模型才能真正落地并創造價值。
關于 LLM Agent，劉喆老師解釋說，它可以看作是一個“小模型”，負責完成特定的子任務，多個 Agent 協同工作以解決復雜問題。這種分工合作的方式，既發揮了各 Agent 的專長，也降低了系統穩定性風險。
他表示，未來的大模型應用需要更多地采用 Agent 模式，將任務進行拆分。目前已有初步探索，例如 Plan and Execute Agent 負責任務規劃，Action Agent 負責執行等。隨著研究的深入，LLM Agent 的作用將愈發凸顯。
五、技術展望:LLMOps和LLM Agent發展趨勢
最后，劉喆老師展望了 LLMOps 和 LLM Agent 的未來發展趨勢。
在 LLMOps 方面，通過行業最佳實踐的逐步形成，以及自動化和智能化手段的引入，LLMOps 將日趨成熟，為大模型應用提供強大支持。
LLM Agent 方面，隨著算法的進步，Agent 協作的穩定性和效率也將不斷提高，復雜任務的完成難度將降低。此外，低成本硬件的出現也為大規模Agent系統應用提供可能。
大模型技術仍處在初級階段，需要持續探索。但它的應用前景廣闊，我們要積極準備，以把握新一輪技術變革的機遇。
總結
總體來看，劉喆老師表達了對大模型應用前景的積極態度。他認為，隨著模型性能的提升、計算力的增強和方法的進步，大模型訓練的成本逐步降低，應用范圍也在不斷擴大。面對種種挑戰，LLMOps 和 LLM Agent 為大模型的實際落地提供了可能性。同時他呼吁業界積極探索大模型的應用，因為這是一項系統工程，需要持續迭代和發展。當前雖有諸多困難，但只要堅持不懈，就一定能夠推動大模型真正應用于各行各業，并最終惠及社會。
掘力計劃
掘力計劃由稀土掘金技術社區發起，致力于打造一個高品質的技術分享和交流的系列品牌。聚集國內外頂尖的技術專家、開發者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術動態。
