近年來，大模型發展在人工智能領域引起了廣泛的興趣與關注，龐大的規模和學習能力使其具備了出色的性能和表現。近日，IDEA研究院（粵港澳大灣區數字經濟研究院）宣布開源通用大模型系列“姜子牙”，讓廣大開發者可以共同參與模型的改進、優化和拓展，通過分享經驗和創意，推動模型的進步和創新。與IDEA建立合作，UCloud優刻得鏡像市場也上線了姜子牙大模型鏡像，基于UCloud優刻得強大的云計算基礎設施，客戶可以輕松創建預裝姜子牙大模型的云主機，并享受高性能的GPU算力資源。
“姜子牙通用大模型v1”是由IDEA開發的一款領先的自然語言處理模型。基于LLaMa的130億參數的大規模預訓練模型，具備翻譯、編程、文本分類、信息抽取、摘要、文案生成、常識問答和數學計算等能力。目前姜子牙通用大模型v1已完成大規模預訓練、多任務有監督微調和人類反饋學習三階段的訓練過程。
本次UCloud優刻得上線的是姜子牙大模型的Ziya-LLaMA-7B-Reward模型鏡像。該模型基于Ziya-LLaMA模型，在自標注高質量偏好排序數據、嚴格過濾的外部開源數據這兩個偏好排序數據上進行訓練。同時該模型能夠模擬中英雙語生成的獎勵環境，對LLM生成結果提供準確的獎勵反饋。
作為最新一代發布的大語言模型，“姜子牙通用大模型v1”具備以下三個方面的優勢：
1、全面的數據訓練：使用來自多個領域和多種來源的原始數據進行預訓練，包括英文和中文數據。通過去重、打分、分桶、規則過濾和數據評估等處理，最終得到125B tokens的有效數據。這種全面的數據訓練使得模型具備廣泛的語言知識和理解能力。
2、高效的中文編解碼：通過擴充詞表、優化分詞方式，提升了對中文的編解碼效率。通過增加常見中文字并復用Transformers中的LlamaTokenizer，實現了高效的中文處理能力。
3、多任務有監督微調和人類反饋訓練：在多任務有監督微調階段采用課程學習和增量訓練的策略，通過"Easy To Hard"的方式進行訓練。同時，通過人類反饋訓練進一步提升模型的綜合表現。人類反饋訓練采用了以人類反饋強化學習為主的方法，結合多種其他手段聯合訓練，包括人類反饋微調、后見鏈微調、AI反饋和基于規則的獎勵系統等。這些訓練方法使得模型能夠更好地理解人類意圖、減少錯誤輸出，并提高整體性能。
這些優勢使得姜子牙大模型成為一款強大的自然語言處理模型，不僅在語言知識和理解能力方面有出色表現，可以高效處理中文，并且經過多任務有監督微調和人類反饋訓練，可進一步提升性能和準確性，尤其在角色扮演的領域，表現效果尤為突出。
寫在最后
作為開源模型，姜子牙大模型鼓勵開發者和研究者之間的合作和共享，這使得更多的人可以通過領域知識微調，共同改進模型并推動新模型的推出與發展，技術的本質在于應用，ChatLaw（法律大模型）應用法律行業，就是大模型落地垂直業務場景的極佳案例。
UCloud優刻得將繼續與IDEA等優秀合作伙伴密切合作，致力于完善大模型和算力相結合的MaaS（Model as a service）服務生態，積極推進人工智能技術的發展，為客戶提供更多高性能、高可靠性的“算力+模型”解決方案，助力企業實現智能化轉型和業務創新，一起迎接大模型時代的機遇和挑戰！
