AI大模型技術正成為推動高質生產力發展的關鍵力量，在與千行百業的融合中發揮著重要作用。騰訊混元大模型通過采用混合專家模型 (MoE) 結構，已將模型擴展至萬億級參數規模，增加“腦”容量提升預測性能的同時，推動了推理成本下降。作為通用模型，騰訊混元在中文表現上處于業界領先水平，尤其在文本生成、數理邏輯和多輪對話中性能表現卓越。
近日，騰訊混元大模型正式對外發布256k長文模型，并通過騰訊云向廣大企業和個人開發者開放，以支持更廣泛的創新和應用。騰訊混元256k模型版本具備處理超過38萬字符的超長文本能力。在對話應用場景中，該模型能夠“記憶”更多的對話內容，有效避免“忘記”信息等問題。此外，它還具備出色的上下文分析能力，能夠為對話參與者提供更為精確和相關的反饋，從而輔助他們做出更明智的決策。
此外，該模型版本在長文檔的閱讀理解和大規模數據分析方面也展現出強大性能。它能夠為金融、醫療、教育、出行等行業的專業人士提供強有力的工作支持，顯著提高他們的工作效率。模型在推理性能上也進行了深入優化，確保了在騰訊云等平臺上的實際應用中，用戶能夠享受到更加流暢和高效的使用體驗。
減少“健忘”，讓大模型更聰明
在大模型產品中，處理對話式需求是一項核心功能。但由于長文本處理能力的局限，傳統大模型在對話中容易“迷失方向”或出現“記憶缺失”，隨著對話長度的增加，遺忘的信息量也隨之增多。
騰訊混元256k模型針對這一挑戰進行了專門優化。它采用了先進的“專家混合”(MoE)架構，并融合了RoPE-NTK和Flash Attention V2等創新技術，既保持了對通用短文本(少于4,000字符)的高效處理能力，同時在長文本處理的深度和廣度上實現了突破。
目前，騰訊混元大模型已經具備256k的超長上下文理解能力，單次處理字符數超過38萬個，在經過嚴苛的“大海撈針”任務測試后，該模型在長文本處理上的準確率已達到99.99%，在國際上也處于領先地位。
持續穩定迭代，大模型應用效率提升
騰訊混元大模型在業界率先采用了混合專家模型(MoE)結構，并在此過程中積累了大量自研技術。在上一個版本32K中，該模型已顯著超越市面上的開源同類模型，并在多種應用場景中展現出優異性能。
經過全新迭代，騰訊混元256k在通用領域的GSB評測中，相較于前一版本，勝出率50.72%。同時，騰訊混元256k的訓練集融合了醫療、金融等多個領域的長文本數據、翻譯數據和多文檔問答等高質量標注數據，這使得模型在實際應用中，尤其是在需要頻繁分析和處理大量長文本資料的醫療和金融行業，能夠提供更為精準和高效的工作支持。
例如，當將一份央行發布的金融報告輸入騰訊混元256k模型時，該模型能夠迅速提煉和總結報告的要點，在處理速度和準確性上均達到了令人滿意的水平。
推理性能優化，帶來更強的大模型理解能力
與此同時，騰訊混元256k在推理性能上進行了深入優化。在INT8精度模式下，與FP16精度相比，模型的QPM(每秒查詢率)實現了23.9%的顯著提升，而首字耗時僅增加了5.7%。這些改進顯著增強了模型在實際應用中的響應速度和整體效率。
以《三國演義》的分析為例，騰訊混元256k能夠迅速閱讀并檢索這部數十萬字的古典小說，不僅能夠準確識別出小說中的關鍵人物和事件情節，甚至對于天氣、角色著裝等細節描述也能提供精確的信息。
AI大模型作為新質生產力的關鍵組成部分，對推動產業升級和實現高質量發展具有至關重要的作用。騰訊混元256k模型的推出為整個行業注入了全新活力，并開拓了更廣泛的應用前景。
目前，騰訊混元256k長文模型已經通過騰訊云向廣大企業和個人開發者開放，用戶可通過hunyuan-standard版本256k長文模型接入。這使得更多的開發者和用戶能夠便捷地接入并使用騰訊混元大模型的強大功能，進而為各行各業提供智能化的解決方案，推動更多創新應用場景的實現。
