在科技領域的一次重要聚會中，知乎攜手DataFun共同呈現了一場聚焦大模型應用工程化實踐的深度技術沙龍。此次活動匯聚了來自15個行業、130家企業的專業人士，共同探討了大模型技術從實驗室邁向千萬級用戶產品的路徑。
知乎CTO孫斌在活動現場帶來了一個振奮人心的消息：知乎自研的輕量高效大模型推理框架ZhiLight正式開源。這一消息標志著知乎在大模型工程化實踐上的又一重要進展。
知乎在2024年持續推進大模型技術的落地應用，先后推出了知乎直答和專業搜索功能。這些功能不僅聚焦于專業人士的生產力場景，更是將AI搜索推向了更具專業性和實用性的深度搜索階段。在沙龍上，知乎AI算法負責人王界武詳細介紹了知乎直答的搭建過程和技術方案選型。
王界武指出，在構建AI問答系統時，知乎直答團隊對比了LLM持續pretrain+posttrain與檢索增強生成（RAG）兩種方案，最終選擇了RAG方案。RAG系統通過從知識庫檢索相關信息作為上下文，再由大語言模型生成回答，顯著降低了AI的幻覺問題，提高了答案的準確性和權威度。團隊在Query理解、召回、大模型生成等多個環節進行了深入優化。
在專業搜索功能方面，知乎直答團隊采用了多種前沿技術，實現了多智能體的協同工作，并支持信息查詢、內容分析、數學計算等多種功能。同時，結合大語言模型的強大推理能力，對用戶的上下文和提問進行深入分析，從多角度、多層次召回高質量的內容。
王界武還透露，知乎直答團隊計劃將產品與社區深度融合，滿足更多場景下用戶找答案的需求，并在準確性、時效性、交互模式等領域實現更多升級。同時，將進一步提升模型的推理能力，使知乎直答具備更強的解決復雜問題能力和使用體驗。
在沙龍上，知乎自研的大模型推理框架ZhiLight也正式亮相。知乎機器學習平臺負責人王新介紹了ZhiLight的設計目標和優化重點。ZhiLight旨在快速部署與實踐LLaMa-like模型，并兼容OpenAI chat/completions接口，便于日常使用及與開源引擎的性能與穩定性對比。
ZhiLight在PCIe卡間通訊優化、內存管理以及并發請求管理等方面進行了深入優化，并集成了FlashAttention、Marlin、TensorRT、exllama等開源項目。通過計算與通訊overlap和低精度通訊等手段，單層Transformer計算時間降低了40%以上。在模型規模達到70B時，ZhiLight在TTFT指標上明顯優于主流開源推理引擎。
百川智能大語言模型資深算法專家王宇龍在沙龍上分享了對Agent技術的探索。他認為，基于LLM驅動的智能體相較于傳統Agent，能夠利用大型語言模型的強大能力，徹底改變智能體的工作方式。這類智能體能夠在不同的任務之間切換，并通過理解自然語言來解決問題。
王宇龍還介紹了當前Agent面臨的主要問題，并探討了Agent和LLM的底層細節。他認為，人工智能有可能以新的方式發現并利用計算簡化的區域，從而做出近似和“大致正確”的預測。但AI在進行精確、詳細的預測時會遇到困難，特別是在面對計算不可約性時。
在交流會上，“提示詞布道師”李繼剛也分享了關于Prompt的深刻見解。他提出“Prompt=表達”，并闡述了“表達=本意+文意+解意”以及“本意=經驗+詞匯+知識”的概念。他認為，與大模型實現“共振”是Prompt設計的核心，即用最清晰、簡潔的表達指向核心本質。
李繼剛還分享了Prompt的實戰經驗，認為Prompt工程師應具備人文和技術兩項基本素質，既要能寫編程、具備理性數學的思維，又要會寫作、擁有感性表達的思維。
此次大模型技術沙龍不僅為與會者帶來了前沿的技術分享和深度交流，也展示了知乎在大模型應用工程化實踐上的堅實步伐。知乎將繼續加強與科技行業、技術從業者的交流聯動，為互聯網行業前沿技術研發和應用貢獻力量。
