要點:
1. 隨著容量或預訓練數據量的增加，模型性能不斷提升。
2. 論文證實自回歸訓練對于圖像模型學習表征能力具有擴展性。
3. 自回歸目標足以滿足視覺特征的訓練要求，且沒有飽和的跡象。
（ChinaZ.com）1月18日 消息:蘋果公司的研究者通過自回歸圖像模型（AIM）驗證了視覺模型“參數越多性能越強”的規律，進一步證明隨著容量或預訓練數據量的增加，模型能不斷提升性能。AIM能有效利用大量未經整理的圖像數據，訓練方法和穩定性與最近的大型語言模型(LLM)類似。這一觀察結果與之前關于擴展大型語言模型的研究結果是一致的。
雖然本文實驗所使用的模型規模有限，還需進一步探索是否能在更大參數量級的模型上驗證此規律。研究者使用的預訓練目標遵循應用于圖像 patch 序列的標準自回歸模型，通過一系列實驗和研究，驗證了模型容量可以輕松擴展到數十億個參數，同時對下游任務有很好的性能。
項目地址：https://top.aibase.com/tool/aim
此外，研究者對自回歸目標訓練 ViT 模型的多方面進行了探討，并且重新審視了之前的工作。研究者的實驗報告顯示，在整個訓練過程中，優化目標直接帶來更好的下游性能，而隨著模型容量的增加，損失值和下游任務的準確性都有所提高。這一觀察結果與在 LLMs 中觀察到的趨勢一致，反映了優化目標會直接帶來更好的下游性能。
在 AIM 的設計參數中，除了擴展寬度，研究者還特別采用了一種簡單設計，使用多層感知機塊，獨立地對每個 patch 進行處理。研究者同時強調，研究的模型規模有限，對更大參數量級的模型上驗證此規律還有待進一步探索。
論文的實驗結果證明了視覺模型同樣遵循「參數越多性能越強」的規律，自回歸訓練對圖像模型具有很好的擴展性，并能夠滿足視覺特征的訓練要求。對未來圖像模型性能提升和優化提供了新的研究方向和思路。
