大型機器學習模型在多個領域展現出具有變革性的結果，但在現實世界中，訓練和推理效率正在成為關鍵需求。google Research 一直在通過開發新的基礎技術來提高大型 ML 模型的效率。本文中，谷歌以「提升模型效率」為主題，介紹如何使 ML 模型更加強韌、高效。
十年前，深度學習崛起的部分原因在于新算法和架構的融合、數據的顯著增加以及計算能力方面的提升。過去 10 年里，AI 和 ML 模型更加深入、復雜、有了更多的參數和訓練數據，也因而變得更大、更繁瑣，這也為機器學習歷史帶來了最具變革性的成果。
這些模型越來越多地應用于生產和業務應用程序中，與此同時，其效率和成本已經從次要的考慮因素演變為主要的限制。為了應對在高效架構，訓練效率，數據效率和推理效率四個層面的重大挑戰，谷歌繼續在 ML 效率上投入大量資金。除了效率之外，這些模型還面臨著許多關于真實性、安全性、隱私性和新鮮度的挑戰。接下來，本文將重點介紹 Google Research 為了應對上述挑戰，在開發新算法方面所做的努力。
研究的基本問題在于「是否有更好的方法來參數化模型以提高效率？」2022 年，研究人員專注于通過檢索上下文、混合專家系統，以及提升 Transformer（大型 ML 模型的心）的效率來研發通過增強模型來注入外部知識的新技術。
上下文增強模型
為了追求更高的質量和效率，可以使用來自大型數據庫或可訓練內存的外部上下文來增強神經模型。通過利用檢索到的上下文，神經網絡無需在其內部參數中廣泛地儲備知識，就能實現更好的參數效率、可解釋性和真實性。
一篇名為《用于上下文增強語言建模的解耦上下文處理》（Decoupled Context Processing for Context Augmented Language Modeling）的文章中探索了一種基于解耦編碼器 - 解碼器架構的簡單架構，用于將外部上下文合并到語言模型中。在自回歸語言建模和開放領域問答任務中，這大大節省了計算量。然而，預訓練大型語言模型（LLMs）通過在大型訓練集上的自監督消耗了大量的信息。但是，目前還不清楚這些模型對世界的認識是如何與所呈現的上下文相互作用的。通過知識感知微調（KAFT），研究人員將反事實和不相關的上下文納入標準監督數據集，這加強了 LLM 的可控性和魯棒性。
論文地址：https://arxiv.org/abs/2210.05758
用于上下文合并的編碼器 - 解碼器交叉注意機制，允許上下文編碼與語言模型推理解耦，進而提升上下文增強模型的效率。
在尋求模塊化深度網絡的過程中，其中一個問題是如何設計具有相應計算模塊的概念數據庫。研究人員提出了一種理論體系架構，將「記憶事件」（remember events）以 sketches 的形式存儲在一個外部 LSH 表中，其中包括一個 pointers 模塊來處理 sketches。
利用加速器從大型數據庫中快速檢索信息是上下文增強模型的另一大挑戰。研究人員開發了一種基于 TPU 的相似度搜索算法，該算法與 TPU 的性能模型保持一致，并對預期召回率提供了分析保證，實現了峰值性能。搜索算法通常涉及大量的超參數和設計選擇，這使得在執行新任務時很難對它們進行調整。研究人員提出了一種新的約束優化算法，用于自動化超參數調優。將期望的成本或召回率固定為輸入，所提出的算法產生的調優在經驗上非常接近速度 - 召回率帕累托邊界（speed-recall Pareto frontier），并在標準基準測試中提供領先的性能。
混合專家模型
經證明，混合專家 (MoE）模型是在不過度增加計算成本的前提下，提高神經網絡模型容量的有效手段。MoE 的基本思想是由許多專家子網絡構建出一個統一網絡，其中每個輸入由一個合適的專家子集處理。因此，與標準神經網絡相比，MoE 只調用了整個模型的一小部分，從而產生了如 GLaM 等語言模型應用程序所示的高效率。
GLaM 體系架構中的每個輸入 token 被動態路由到 64 個專家網絡中的兩個進行預測。
對于給定的輸入，路由函數負責決定應當激活哪些專家，該函數的設計具有挑戰性，因為研究者希望避免對每個專家的利用不足和過度利用。最近的一項工作提出了專家選擇路由，這是一種新的路由機制，它不是將每個輸入 token 分配給 top-k 專家，而是將每個專家分配給 top-k token。這將自動確保專家的負載平衡，同時也自然地允許多個專家處理一個輸入 token。
專家選擇路由。具有預定緩沖區容量的專家被分配 top-k token，從而保證負載平衡。每個 token 可以由數量不定的專家處理。
有效的 Transformer
Transformer 是當下正火熱的序列到序列模型，在從視覺到自然語言理解等一系列具有挑戰性的問題上取得了顯著的成功。這種模型的核心組成部分是注意力層，它識別查詢和鍵之間的相似性，并使用這些相似性構造一個適當的值加權組合。雖然性能強，但注意力機制的計算效率卻不高，復雜度通常為輸入序列長度的二次方。
隨著 Transformer 規模的不斷增長，其中一個問題的研究十分有價值，即是否有任何自然發生的結構或模式的學習模型，可以解決注意力有效的原理。為此，研究人員研究了中間 MLP 層中的學習嵌入，并且發現它們非常稀疏 —— 例如，T5-Large 模型有 1% 的非零項。稀疏性進一步表明，人們可以在不影響模型性能的情況下潛在地降低 FLOPs。
論文地址：https://arxiv.org/pdf/2210.06313.pdf?
最近，有研究推出 Treeformer—— 一種依賴于決策樹的標準注意力計算的替代方案。簡單來說，這可以快速識別與查詢相關的鍵的一小部分，并且只對該集合執行注意力操作。根據經驗，Treeformer 可以將注意力層的 FLOPs 降低 30 倍。除此之外還有序列注意力 —— 一種結合了注意力和貪婪算法的可微分特征選擇方法。該技術對線性模型有很強的可證明保證，并可無縫擴展到大型嵌入模型。?
另一種提高 Transformer 效率的方法是在注意力層中加速 softmax 計算。在「low-rank Approximation of the softmax kernel」研究基礎上，研究人員提出了一類新的隨機特征，提供了 softmax kernel 的首個「positive and bounded」隨機特征近似，并且在序列長度上的計算是線性的。
訓練效率?
高效的優化方法是現代 ML 應用程序的基石，在大規模設置中，這一點尤其重要。在這種設置下，即使是像 Adam 這樣的一階自適應方法通常也很昂貴，并且訓練穩定性面臨重重挑戰。此外，這些方法通常對神經網絡的架構不可知，從而忽略了架構的豐富性，導致訓練效率低下。這也促使新技術不斷被提出以更有效地優化現代神經網絡模型。研究人員正在開發新的架構感知訓練技術，例如，用于訓練 Transformer 網絡的一些研究，包括新的規模不變的 Transformer 網絡和新的剪枝方法，并與隨機梯度下降（SGD）結合使用，以加快訓練進程。在該方法的幫助下，研究人員第一次能夠使用簡單的 SGD 有效地訓練 BERT，而不需要自適應。
論文地址：https://arxiv.org/pdf/2210.05758.pdf?
此外，研究人員在 LocoProp 的幫助下提出了一種新的方法 —— 在使用與一階優化器相同的計算和內存資源的同時，實現與二階優化器類似的性能。LocoProp 采用模塊化的神經網絡視圖，將它們分解成層的組合。然后允許每一層都有自己的損失函數以及輸出目標和權重正則化器。有了這個設置，經過適當的前后傳遞后，LocoProp 繼續對每一層的局部損失進行并行更新。事實上，無論是理論上還是經驗上，這些更新可以被證明類似于那些高階優化器。在深度自編碼器基準上，LocoProp 實現了與高階優化器相當的性能，同時更具速度優勢。
論文鏈接：https://proceedings.mlr.press/v151/amid22a.html?
與反向傳播類似，LocoProp 應用前向傳遞來計算激活。在向后傳遞中，LocoProp 為每一層設置每個神經元目標。最后，LocoProp 將模型訓練拆分為跨層的獨立問題，其中幾個本地更新可以并行應用于每個層的權重。
SGD 等優化器的核心思想是，每個數據點從分布中獨立且相同地采樣?？上н@在實際環境中很難滿足，比如強化學習，在這種情況下，模型（或智能體）必須從基于自己預測生成的數據中學習。研究人員提出了一種新的基于反向經驗重放的 SGD 算法，該算法可以在線性動力系統、非線性動力系統和 Q-learning 中找到最優解。此外，已經有研究證明該方法的增強版本 IER 是目前最先進的版本，并且是在各種流行的 RL 基準測試中最穩定的體驗重放技術。
論文地址：https://arxiv.org/pdf/2103.05896.pdf
數據效率
在許多任務中，深度神經網絡嚴重依賴于大型數據集。除了大型數據集帶來的存儲成本和潛在的安全 / 隱私問題外，在此類數據集上訓練現代深度神經網絡還會產生很高的計算成本。解決這個問題的可行方法之一是對數據子集進行選擇。?
研究人員分析了子集選擇框架，設計用于實際批處理設置中的任意模型族。在這種情況下，學習器可以一次采樣一個示例，同時訪問上下文和 true 標簽，但為了限制開銷，只有在選擇了足夠多的示例批次后才能更新其狀態（即進一步的訓練模型權重）。研究人員開發了一種算法，稱為 IWeS，它通過重要性抽樣來選擇示例，其中分配給每個示例的抽樣概率是基于在先前選擇的批次上訓練的模型的熵。研究所提供的理論分析證明了泛化和抽樣率的界限。
論文地址：https://arxiv.org/pdf/2301.12052.pdf?
訓練大型網絡的另一個問題是，它們可能對訓練數據和部署時看到的數據之間的分布變化高度敏感，特別是在使用有限數量的訓練數據時，這些數據可能無法覆蓋所有部署時場景。最近的一項研究假設「極端簡單性偏差」是神經網絡這種脆弱性背后的關鍵問題，其使這一假設成為可行，導致了兩種新的互補方法 ——DAFT 和 FRR—— 結合在一起時，可以提供明顯更魯棒的神經網絡。特別是，這兩種方法使用對抗性微調以及反向特征預測來加強學習網絡。
論文地址：https://arxiv.org/pdf/2006.07710.pdf
推理效率?
事實證明，增加神經網絡的規模能夠提高其預測準確性，然而，在現實世界中實現這些收益是具有挑戰性的，因為大型模型的推理成本對于部署來說非常高。這促使策略提高服務效率，而不犧牲準確性。在 2022 年，專家研究了實現這一目標的不同策略，特別是基于知識蒸餾和自適應計算的策略。
蒸餾?
蒸餾是一種簡單而有效的模型壓縮方法，極大地擴展了大型神經模型的潛在適用性。已有研究證明蒸餾能在廣告推薦等一系列實際應用中發揮其作用。蒸餾的大多數用例涉及基本配方在給定領域的直接應用，對何時以及為什么這應該起作用的理解有限。谷歌今年的研究著眼于針對特定環境定制蒸餾，并正式研究了控制蒸餾成功的因素。 ?
在算法方面，研究通過仔細建模教師標簽中的噪聲，開發出了一項重新加權訓練示例的重要途徑，以及一項有效措施來對數據子集進行采樣以獲得教師標簽。谷歌在《Teacher Guided Training: An Efficient Framework for Knowledge Transfer》中表明：不是被動地使用教師來注釋固定的數據集，而是主動地使用教師來指導選擇要注釋的信息性樣本。這使得蒸餾過程在有限的數據或長尾設置中脫穎而出。
論文地址：https://arxiv.org/pdf/2208.06825.pdf?
除此之外，谷歌還研究了從交叉編碼器 (dual-encoder, 例如 BERT) 到因子雙編碼器（dual-encoder）的新方法，這也是對（query, document）對的相關性進行評分的重要設置。研究人員探討了交叉編碼器和雙編碼器之間性能差距的原因，注意到這可能是泛化的結果，而不是雙編碼器的容量限制。精餾損失函數的精心構造可以緩解這種情況，并減少交叉編碼器和雙編碼器性能之間的差距。隨后，在 embedtitil 中，研究通過匹配教師模型中的嵌入來進一步改進雙編碼器蒸餾。這種策略也可以用于從大到小的雙編碼器模型中提取信息，其中繼承和凍結教師的文檔嵌入可以證明是非常有效的。
論文地址：https://arxiv.org/pdf/2301.12005.pdf?
理論方面，研究從監督復雜性角度出發，提供了一個關于蒸餾的新視角，這是一種衡量學生預測教師標簽程度的方法。NTK（neural tangent kernel ）理論提供了概念性的見解。研究進一步證明，蒸餾會導致學生不適合教師模型認為難以建模的點。直觀地說，這可以幫助學生將有限的能力集中在那些可以合理建模的樣本上。
論文地址：https://arxiv.org/pdf/2301.12245.pdf
自適應計算?
雖然蒸餾是一種降低推理成本的有效手段，但它在所有樣本上都是一致的。然而，直觀地說，一些簡單（easy）樣本可能天生就比困難（hard）樣本需要更少的計算。自適應計算的目標是設計能夠實現這種依賴于樣本的計算的機制。?
CALM（Confident Adaptive Language Modeling）為基于 Transformer 的文本生成器（如 T5）引入了受控的早期退出（early-exit）功能。
論文地址：https://arxiv.org/pdf/2207.07061.pdf
在這種形式的自適應計算中，模型動態地修改每個解碼步驟使用的 Transformer 層數。早期退出門使用帶有決策閾值的置信度測量，該決策閾值經過校準，以滿足統計性能保證。通過這種方式，模型只需要為最具挑戰性的預測計算解碼器層的完整堆棧。更簡單的預測只需要計算幾個解碼器層。在實踐中，該模型平均使用大約三分之一的層進行預測，在保持相同水平的生成質量的同時，速度能提升 2-3 倍。
使用常規語言模型（top）和 CALM （bottom）生成文本。CALM 試圖做出早期預測。一旦對生成的內容足夠自信（深藍色調），它就會跳過來節省時間。?
一種流行的自適應計算機制是兩個或多個基本模型的級聯。使用級聯的一個關鍵問題：是簡單地使用當前模型的預測，還是將預測推遲到下游模型。學習何時延遲需要設計一個合適的損失函數，它可以利用適當的信號作為延遲決策的監督。為了實現這一目標，研究人員正式研究了現有的損失函數，證明由于隱含的標簽平滑應用，它們可能不適合訓練樣本。研究展示了可以通過延遲規則的 post-hoc 訓練來緩解這種情況，這并不需要以任何方式修改模型內部。
論文地址：https://openreview.NET/pdf?id=_jg6Sf6tuF7?
對于檢索應用，標準語義搜索技術對大型模型生成的每個嵌入使用固定表示。也就是說，無論下游任務及其相關的計算環境或約束如何，表示的大小和能力基本上是固定的。MRL（Matryoshka representation learning）引入了根據部署環境調整表示法的靈活性。當與標準的近似最近鄰搜索技術（如 ScaNN）結合使用時，MRL 能夠提供高達 16 倍的低計算，同時具有相同的召回率和準確率指標。
論文地址：https://openreview.net/pdf?id=9njZa1fm35
