在當今產業智能化浪潮中，企業正積極探索如何利用自身專有知識資產，構建專屬的認知引擎，以推動智能決策與高效運營。然而，傳統檢索增強生成（RAG）技術受限于語言單模態處理，只能實現文本知識庫與文本查詢間的淺層次理解，難以滿足復雜業務場景的需求。兩大主要缺陷逐漸顯現：一是信息表征缺失，未能充分利用多模態富文檔中的視覺語義信息，如版面結構、圖表關系及公式特征；二是模態交互受限，無法支持圖文混合查詢和跨模態關聯檢索等多樣化需求。
為解決這些痛點，一款名為Taichu-mRAG的多模態檢索增強生成框架應運而生。該框架基于統一多模態細粒度檢索引擎和紫東太初多模態大模型，旨在提升內容理解與生成質量，實現對多模態信息的協同感知、精準檢索與深度推理問答。Taichu-mRAG在多模態富文檔理解和多模態細粒度實體屬性問答兩大權威基準上取得了顯著突破。
具體而言，在M3DocVQA數據集上，Taichu-mRAG的端到端問答準確率相比開源的SOTA M3DocRAG提升了33%，多模態檢索召回率提高了12%；在E-VQA數據集上，其端到端問答準確率相較于開源的SOTA EchoSight提升了9%，多模態檢索召回率同樣提升了9%。
Taichu-mRAG整體架構面向新一代智能問答場景，包含四大核心模塊：Query理解模塊、多模態混合索引召回模塊、多模態精排模塊以及多模態增強答案生成模塊。
Query理解模塊能夠深度挖掘用戶需求，根據用戶Query及對話上下文判斷是否需要觸發全文理解，并結合對話歷史對Query進行智能擴展和改寫，確保檢索到最相關的知識。多模態混合索引與召回模塊則通過特征抽取、索引建庫及多路召回，對富文檔進行多維度理解，抽取出子級檢索單元塊，并通過多模態Embedding模型抽取語義特征，在統一語義空間內進行ANN索引建庫。當收到改寫的Query后，該模塊采用多路召回，高效召回TopN知識片段。
多模態精排模塊則對召回的TopN知識片段進行精細化排序，采用單塔結構，深度融合Query、文本、圖像、布局特征等信息，確保排序結果精準穩定。多模態答案生成模塊則根據前序模塊給出的相關參考知識和用戶原始Query，聯合生成最終答案，并給出答案的參考片段，便于用戶進行答案溯源。當候選片段無法覆蓋答案時，多模態大模型會根據用戶自定義配置選擇拒答或依賴自身知識進行開放式回答。
Taichu-mRAG的多模態檢索引擎采用了雙層級父子關聯索引機制和多路異構特征聯合檢索技術。雙層級父子關聯索引機制通過父級語義單元和子級檢索單元的智能分塊和關聯策略，有效解決了多模態數據檢索中的粒度適配與上下文整合難題。子級檢索單元精準召回語義最相關的細粒度語義片段，而父級語義單元則為關聯的子級檢索單元提供完整的上下文信息，提升大模型的回答精度和完整度。
多路異構特征聯合檢索則通過多模態Embedding模型實現多種模態在統一空間的語義表征，支持文本、圖像、圖表、公式等多種混合形式，形成互補增強的檢索矩陣，確保檢索系統的精準性和產業落地可行性。
