在金融科技的浪潮中，人工智能技術的革新正引領著行業的深刻變革。特別是多模態技術的興起，吸引了眾多金融企業的密切關注。度小滿，作為金融科技領域的佼佼者，近年來在多模態領域持續深耕，不斷加速技術創新，與哈爾濱工業大學攜手推出了SmartTrim技術，為金融業務的智能化轉型注入了新的活力。
在多模態視覺語言大模型（VLM）的研究中，高昂的計算成本一直是阻礙其廣泛應用的關鍵因素。為了解決這一難題，度小滿與哈爾濱工業大學聯合研發了SmartTrim自適應剪枝算法。這一創新成果不僅在國際自然語言處理頂級會議COLING 24上獲得了認可，更在實際應用中展現了顯著的計算效率提升。
SmartTrim技術的核心在于其自適應剪枝能力。該技術通過深入分析模型中各層的token表示和attention head的冗余性，能夠智能地識別并去除不必要的計算負擔。這一過程不僅考慮了token在單一模態中的重要性，還特別強調了跨模態交互中的關鍵作用，從而在保持模型性能的同時，實現了計算效率的大幅提升。
SmartTrim框架的實施依賴于兩大關鍵組件：跨模態感知的Token修剪器和模態自適應的注意力頭修剪器。Token修剪器利用多層感知器（MLP）結構，智能地識別并去除對當前層不重要的Token，這一過程綜合考慮了Token在文本或圖像序列中的獨立重要性及其在跨模態交互中的貢獻。而注意力頭修剪器則直接集成在模型的自注意力模塊中，通過評估并修剪冗余的注意力頭，進一步優化了模型的計算效率。
在訓練SmartTrim模型時，研究人員采用了雙重優化策略，結合了任務相關目標和計算開銷目標，通過重參數化技巧解決了不可導二值mask的問題，實現了模型的端到端訓練。同時，自蒸餾和課程學習策略的引入，進一步提升了剪枝后模型的性能，確保了訓練過程的穩定性和高效性。
實驗結果表明，SmartTrim在METER和BLIP兩個VLM上實現了2-3倍的加速，同時保持了極低的性能損失。特別是在1.5倍加速比下，SmartTrim的性能甚至超越了原始模型，展現出了卓越的計算效率和性能表現。這一成果不僅為模型優化提供了新的思路，也為金融科技的智能化轉型提供了有力的技術支撐。
度小滿表示，未來將繼續深化與哈爾濱工業大學的合作，將SmartTrim技術整合到公司的軒轅大模型中，進一步推動大模型在金融領域的應用與發展。同時，度小滿還將加快技術成果的孵化速度，借助前沿科技解決金融行業的系列難題，為金融行業的轉型升級貢獻更多力量。
