來源：內(nèi)容編譯自「venturebeat」，謝謝。
我們正在接近深度學(xué)習(xí)的計(jì)算極限。
根據(jù)麻省理工學(xué)院，MIT-IBM Watson AI實(shí)驗(yàn)室，Underwood國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員的說法，他們?cè)谧罱囊豁?xiàng)研究中發(fā)現(xiàn)，深度學(xué)習(xí)的進(jìn)展“非常依賴”計(jì)算能力的增長(zhǎng)。但他們指出，持續(xù)不斷的進(jìn)步將需要通過改變現(xiàn)有技術(shù)或通過尚未發(fā)現(xiàn)的新方法來“戲劇性地”更有效地使用深度學(xué)習(xí)方法。
“我們表明，深度學(xué)習(xí)不是偶然的計(jì)算代價(jià)，而是設(shè)計(jì)的代價(jià)。共同的靈活性使它能夠出色地建模各種現(xiàn)象，并且性能優(yōu)于專家模型，這也使其在計(jì)算上的成本大大提高。”合著者寫道。“盡管如此，我們發(fā)現(xiàn)深度學(xué)習(xí)模型的實(shí)際計(jì)算負(fù)擔(dān)比（理論上的）下界更快地?cái)U(kuò)展，這表明可能有實(shí)質(zhì)性的改進(jìn)。”
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子領(lǐng)域，涉及受大腦結(jié)構(gòu)和功能啟發(fā)的算法。這些算法（稱為人工神經(jīng)網(wǎng)絡(luò)）由功能（神經(jīng)元）組成，這些功能按層排列，將信號(hào)傳輸?shù)狡渌窠?jīng)元。信號(hào)是輸入到網(wǎng)絡(luò)中的輸入數(shù)據(jù)的產(chǎn)物，它們從一層到另一層傳播并緩慢地“調(diào)諧”網(wǎng)絡(luò)，實(shí)際上是在調(diào)整每個(gè)連接的突觸強(qiáng)度（權(quán)重）。網(wǎng)絡(luò)最終通過從數(shù)據(jù)集中提取特征并識(shí)別交叉樣本趨勢(shì)來學(xué)習(xí)進(jìn)行預(yù)測(cè)。
研究人員分析了Arxiv.org以及其他基準(zhǔn)測(cè)試來源的1,058篇論文，以了解深度學(xué)習(xí)性能與計(jì)算之間的聯(lián)系，并特別注意以下領(lǐng)域：圖像分類，對(duì)象檢測(cè)，問題解答，命名實(shí)體識(shí)別和機(jī)器翻譯。他們對(duì)計(jì)算需求進(jìn)行了兩次單獨(dú)的分析，反映了可用的兩種信息：
在給定的深度學(xué)習(xí)模型中，每個(gè)網(wǎng)絡(luò)遍歷的計(jì)算，或單遍遍（即權(quán)重調(diào)整）所需的浮點(diǎn)運(yùn)算數(shù)。
硬件負(fù)擔(dān)，或用于訓(xùn)練模型的硬件的計(jì)算能力，計(jì)算方式為處理器數(shù)量乘以計(jì)算速率和時(shí)間。（研究人員承認(rèn)，盡管這是一種不精確的計(jì)算方法，但在他們分析的論文中，它的報(bào)告比其他基準(zhǔn)要廣泛。）
合著者報(bào)告說，除從英語到德語的機(jī)器翻譯（使用的計(jì)算能力幾乎沒有變化）外，所有基準(zhǔn)均具有“統(tǒng)計(jì)學(xué)上顯著性”的斜率和“強(qiáng)大的解釋能力”。對(duì)象檢測(cè)，命名實(shí)體識(shí)別和機(jī)器翻譯尤其顯示出硬件負(fù)擔(dān)的大幅增加，而結(jié)果的改善卻相對(duì)較小，在流行的開源ImageNet基準(zhǔn)測(cè)試中，計(jì)算能力可以解釋圖像分類準(zhǔn)確度的43％差異。
研究人員估計(jì)，三年的算法改進(jìn)相當(dāng)于計(jì)算能力提高了10倍。他們寫道：“總體而言，我們的結(jié)果表明，在深度學(xué)習(xí)的許多領(lǐng)域中，訓(xùn)練模型的進(jìn)步取決于所使用的計(jì)算能力的大幅度提高。”， “另一種可能性是，要改善算法本身可能需要互補(bǔ)地提高計(jì)算能力。”
在研究過程中，研究人員還對(duì)預(yù)測(cè)進(jìn)行了推斷，以了解達(dá)到各種理論基準(zhǔn)所需的計(jì)算能力以及相關(guān)的經(jīng)濟(jì)和環(huán)境成本。即使是最樂觀的計(jì)算，要降低ImageNet上的圖像分類錯(cuò)誤率，也需要進(jìn)行10的 五次方以上的計(jì)算。
一份Synced報(bào)告也估計(jì)，華盛頓大學(xué)的Grover假新聞檢測(cè)模型在大約兩周時(shí)間內(nèi)的訓(xùn)練費(fèi)用為25,000美元。據(jù)報(bào)道，OpenAI花費(fèi)了高達(dá)1200萬美元來訓(xùn)練其GPT-3 語言模型，而google估計(jì)花費(fèi)了6,912美元來訓(xùn)練 BERT，這是一種雙向轉(zhuǎn)換器模型，可為11種自然語言處理任務(wù)重新定義最先進(jìn)的技術(shù)。
在去年6月的馬薩諸塞州大學(xué)阿默斯特分校的另一份報(bào)告中，得出的結(jié)論是，訓(xùn)練和搜索某種模型所需的電量大約排放了626,000磅的二氧化碳。這相當(dāng)于美國(guó)普通汽車壽命排放的近五倍。
研究人員寫道：“我們預(yù)計(jì)目標(biāo)所隱含的計(jì)算需求……硬件，環(huán)境和金錢成本將無法承受。” “以一種經(jīng)濟(jì)的方式實(shí)現(xiàn)這一目標(biāo)將需要更高效的硬件，更高效的算法或其他改進(jìn)措施，以使凈影響如此之大。”
研究人員指出，在算法級(jí)別進(jìn)行深度學(xué)習(xí)改進(jìn)已有歷史先例。他們指出了硬件加速器的出現(xiàn)，例如Google的張量處理單元，現(xiàn)場(chǎng)可編程門陣列（FPGA）和專用集成電路（ASIC），并試圖通過網(wǎng)絡(luò)壓縮和加速技術(shù)來降低計(jì)算復(fù)雜性。他們還引用了神經(jīng)體系結(jié)構(gòu)搜索和元學(xué)習(xí)，它們使用優(yōu)化來查找在一類問題上保持良好性能的體系結(jié)構(gòu)，以此作為計(jì)算上有效的改進(jìn)方法的途徑。
確實(shí)，一項(xiàng)OpenAI 研究表明，自2012年以來，每16個(gè)月將AI模型訓(xùn)練到ImageNet圖像分類中相同性能所需的計(jì)算量就減少了2倍。Google的Transformer架構(gòu)超越了以前的seq2seq（也是由Google開發(fā)的模型），在seq2seq推出三年后，計(jì)算量減少了61倍。DeepMind的AlphaZero這個(gè)系統(tǒng)從零開始教自己如何掌握國(guó)際象棋，將棋和圍棋游戲，而一年后，該系統(tǒng)所需的計(jì)算量就減少了八倍，以匹配該系統(tǒng)的前身AlphaGoZero的改進(jìn)版本。
“用于深度學(xué)習(xí)模型的計(jì)算能力的爆炸式增長(zhǎng)已經(jīng)結(jié)束了“人工智能冬天”，并為各種任務(wù)的計(jì)算機(jī)性能樹立了新的基準(zhǔn)。但是，深度學(xué)習(xí)對(duì)計(jì)算能力的巨大需求限制了它可以以目前的形式提高性能的程度，特別是在硬件性能的提高放緩的時(shí)代。” “這些計(jì)算限制的可能影響迫使……機(jī)器學(xué)習(xí)轉(zhuǎn)向比深度學(xué)習(xí)更高效的技術(shù)。”
*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。
