隨著春節的腳步日益臨近，國產大模型領域迎來了一波新春大禮包，令人目不暇接。百川智能，作為國產大模型領域的佼佼者，近期頻繁推出新品，從全場景深度推理模型Baichuan-M1-preview到醫療增強開源模型Baichuan-M1-14B，每一款都引起了業界的廣泛關注。
而最新發布的全模態模型Baichuan-Omni-1.5，更是被譽為“大模型通才”，以其全面且強大的能力吸引了眾多目光。這款全模態模型不僅能夠同時處理文本、圖像、音視頻等多種模態的理解任務，還支持文本和音頻的雙模態生成，實現了理解和生成的完美統一。
據測評結果顯示，Baichuan-Omni-1.5的多模態能力整體超越了GPT-4o mini。特別是在百川智能深耕的醫療領域，該模型在醫療圖片評測上的表現更是大幅領先，展現了其卓越的專業能力。這一成就不僅彰顯了百川智能在模型技術探索上的深厚實力，也為其在醫療行業的應用落地奠定了堅實基礎。
除了醫療領域，Baichuan-Omni-1.5在音頻的理解與生成方面同樣表現出色。該模型支持多語言對話，并具備端到端的音頻合成能力，包括ASR（自動語音識別）和TTS（文本轉語音）功能。在此基礎上，它還支持音視頻實時交互，進一步提升了用戶體驗。在音頻評測數據集上，Baichuan-Omni-1.5的整體表現也遠超其他競品。
百川智能還開源了兩個評測集：OpenMM-Medical和OpenAudioBench，為研究人員和開發者提供了統一的標準數據，有助于催生一系列新的語言理解算法和模型架構。這些舉措不僅促進了國內開源生態的繁榮，也為Baichuan-Omni-1.5等全模態模型的應用推廣提供了有力支持。
為了實現全模態模型的理解和生成統一，百川智能的研究團隊在模型結構、訓練策略以及訓練數據等多方面進行了全流程的深度優化。在模型結構上，Baichuan-Omni-1.5采用了創新的文本-音頻交錯輸出設計，使得模型能夠同時生成文本和音頻。同時，為了處理任意分辨率的圖片，該模型還引入了NaViT技術，全面提升了圖片信息的提取和理解能力。
在數據層面，百川智能構建了包含3.4億條高質量圖片/視頻-文本數據和近100萬小時音頻數據的龐大數據庫，并使用1700萬條全模態數據進行了監督微調（SFT）。為了加強跨模態理解能力，百川智能還構建了高質量的視覺-音頻-文本交錯數據，并對模型進行了對齊訓練。這些舉措共同提升了Baichuan-Omni-1.5的全模態理解和生成能力。
Baichuan-Omni-1.5的發布標志著AI技術正在從模型能力向落地應用方向發展。該模型強大的多模態融合能力將技術與實際場景緊密結合，為各行業的數字化轉型提供了有力支撐。特別是在醫療行業，Baichuan-Omni-1.5的理解、生成能力可以用于輔助醫生診斷，提高診斷準確性和效率，為AI在醫療場景的應用探索開辟了新的道路。
