【ITBEAR科技資訊】4月9日消息，近年來，模型規模不斷擴大，一種普遍的信念是“力大磚飛”。
盡管OpenAI沒有公布Sora的訓練細節，但在其技術報告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴大視頻生成模型是構建通用世界模擬器的有前景途徑。
然而，谷歌最新的研究發現：并非如此!谷歌研究院和約翰霍普金斯大學在最新論文中指出：對于潛在擴散模型，模型不一定是越大越好。
據ITBEAR科技資訊了解，關于縮放定律的爭議一直存在。OpenAI在2020年發表的論文提出，模型效果與規模大小、數據集大小、計算量強相關，而與具體結構弱相關。
縮放定律不僅適用于語言模型，還適用于其他模態及跨模態場景。這一概念的提出使研究人員和開發者能夠更有效地設計模型架構，選擇合適的模型大小和數據集規模，以實現最佳性能。
谷歌最新研究集中在圖像生成模型上，提出對于潛在擴散模型，在計算資源有限時，增加計算量應該增加數據集大小，而不是模型參數量。
這是否意味著縮放定律失效了?作者的研究表明，在有限的計算資源下，較小的模型可以優于較大的模型;模型大小和訓練步驟的選擇需與計算資源相匹配。
然而，在訓練步驟恒定的情況下，大模型仍然具有優勢，尤其在處理圖像細節方面。
研究者還發現，不同大小的模型在CFG(Classifier-Free Guidance)技術下受影響基本相同，這一發現令人意外。
這項研究探索了模型效率與品質之間的最佳平衡，為開發更高效的圖像生成AI系統提供了指導。這與當前AI領域的趨勢相契合，即小型語言模型在多項任務中超越大型對手，旨在推動AI技術的民主化。
