> Source
機器學(xué)習(xí)距1950年代已經(jīng)走了很長一段路，當(dāng)時，人們設(shè)計了用于簡單機器學(xué)習(xí)算法的統(tǒng)計方法，并引入了貝葉斯方法進行概率建模。 接近二十世紀，基于艾倫·圖靈（Alan Turing）在計算機技術(shù)上的進步，對支持向量機和基本神經(jīng)網(wǎng)絡(luò)等模型的研究隨著反向傳播的發(fā)現(xiàn)而激增。 幾年后，大規(guī)模計算的可用性已被大規(guī)模的神經(jīng)網(wǎng)絡(luò)所取代，這些神經(jīng)網(wǎng)絡(luò)可以在圍棋上擊敗世界冠軍，產(chǎn)生逼真的藝術(shù)并進行閱讀。 從歷史上看，機器學(xué)習(xí)的進步一直受到計算能力的推動。
隨著在經(jīng)典計算中使計算機芯片變得越來越強大的動力開始枯竭（位接近它們可能的最小分子大小），機器學(xué)習(xí)開發(fā)不再能夠依靠計算能力的穩(wěn)定增長來開發(fā)更強大的功能。 和有效的模型。 作為響應(yīng)，機器學(xué)習(xí)正在轉(zhuǎn)向成分學(xué)習(xí)。
成分學(xué)習(xí)基于這樣一個想法，即一個模型無法做到所有。 當(dāng)深度神經(jīng)網(wǎng)絡(luò)僅用于一項任務(wù)（例如，識別惡性或良性癌細胞或?qū)D像分類為狗或貓）時，它們可以表現(xiàn)良好。 不幸的是，在神經(jīng)網(wǎng)絡(luò)中已經(jīng)觀察到的事情是它們只能很好地完成一件事。 隨著人工智能的應(yīng)用日益復(fù)雜，單一的神經(jīng)網(wǎng)絡(luò)只會越來越大，這說明了神經(jīng)元越來越多的新并發(fā)癥。
如前所述，這種持續(xù)增長的能力已經(jīng)到了死胡同。 通過將這些神經(jīng)網(wǎng)絡(luò)中的幾個進行組合以執(zhí)行完整任務(wù)的各個部分，該模型作為一個整體，在執(zhí)行這些復(fù)雜任務(wù)時會表現(xiàn)得更好，同時又保持了合理的計算空間。 當(dāng)一項任務(wù)分解為多個神經(jīng)網(wǎng)絡(luò)時，每個單獨的網(wǎng)絡(luò)都可以專注于各自的領(lǐng)域，而不是需要全部由一個網(wǎng)絡(luò)覆蓋。 這類似于要求總統(tǒng)（或總理）在勞動，國防，衛(wèi)生和其他部門秘書的支持下做出決定。
例如，考慮以下任務(wù)：為高檔餐廳創(chuàng)建一個與用戶互動的聊天機器人，該聊天機器人可以執(zhí)行常見的任務(wù)，例如查詢菜單或進行預(yù)訂，以及進行閑聊。
對話可以清楚地分為三個部分：歡愉和閑談，信息檢索和行動。 我們可以選擇一個更分布式的系統(tǒng)，而不是采用一個機器學(xué)習(xí)模型來處理以前的交互并輸出響應(yīng)，
一個神經(jīng)網(wǎng)絡(luò)可以推斷出手頭有什么任務(wù)-如果用戶正在引導(dǎo)對話，期望獲得愉悅，信息或行動，則將任務(wù)分配給專門的網(wǎng)絡(luò)。 通過使用分布式模型而不是諸如編碼器-解碼器網(wǎng)絡(luò)或文本GAN *之類的東西，可以實現(xiàn)兩個好處：
· 精度更高。 由于將任務(wù)委派給三個單獨的模型，每個模型專門研究自己的領(lǐng)域，因此提高了模型的性能。
· 更快的運行時間。 盡管訓(xùn)練分布式模型通常比較困難，但是進行預(yù)測時分布式模型要快得多，這對于需要快速響應(yīng)的項目來說必不可少。 這是因為可以將分布式模型視為"分裂"奇異模型，因此信息僅通過與當(dāng)前任務(wù)有關(guān)的有用神經(jīng)元傳遞，而無需流經(jīng)整個網(wǎng)絡(luò)。
*編碼器/解碼器網(wǎng)絡(luò)和GAN由多個網(wǎng)絡(luò)組成，也許可以將其視為組成模型本身。 在這種情況下，僅將它們視為單數(shù)是因為組合模型在其上擴展以使其更有效。 所描述的結(jié)構(gòu)化構(gòu)成模型更多是"構(gòu)成-構(gòu)成模型"。
或者，考慮使用GAN（生成模型）代替?zhèn)鹘y(tǒng)的數(shù)據(jù)增強方法，該方法在許多情況下不適合上下文并提供過多的有害噪聲。 通過不斷將新生成的GAN數(shù)據(jù)匯入模型，解決了兩個問題：
· 類標簽不均勻。 數(shù)據(jù)收集的一個巨大問題是模型傾向于以與標簽中相同的比例進行預(yù)測。 如果cat-dog數(shù)據(jù)集中75％的標簽為" dog"，則模型也會在大多數(shù)情況下建議使用" dog"。 通過使用GAN，可以創(chuàng)建其他圖像來消除類不平衡。
· 過度擬合。 GAN通常是通過數(shù)據(jù)擴充來解決的問題，它提供了一種在通用上下文數(shù)組中表現(xiàn)更好的解決方案。 例如，名人臉部的扭曲可能會導(dǎo)致圖像無法與其類別聯(lián)系在一起。 另一方面，GAN提供了過擬合所需的其他變化，并且可以更有效地提高模型學(xué)習(xí)的效率。
或者，例如，考慮一個雙模型系統(tǒng)，該系統(tǒng)更建設(shè)性地允許模型學(xué)習(xí)容易學(xué)習(xí)的（原始難度評估模型可以高置信度/概率來解決）樣本，并且僅在深度神經(jīng)網(wǎng)絡(luò)之后才引入更困難的訓(xùn)練樣本 掌握了以前的知識。
通過先建立基礎(chǔ)概念，然后微調(diào)權(quán)重以獲取更困難的數(shù)據(jù)樣本，這種漸進式難度學(xué)習(xí)可能比傳統(tǒng)的學(xué)習(xí)方法更有效。 這個想法依賴于組成模型框架，它由通過邏輯流程鏈接的兩個或多個子模型組成。
應(yīng)該注意的是，成分學(xué)習(xí)與整體方法有所不同，因為a）成分學(xué)習(xí)中的模型執(zhí)行不同的任務(wù)，并且b）基于上下文的關(guān)系是成分學(xué)習(xí)的關(guān)鍵部分，整體方法中不存在這種關(guān)系。
成分學(xué)習(xí)比標準建模困難得多，后者需要選擇正確的算法并準備數(shù)據(jù)。 在組合系統(tǒng)中，有無數(shù)種方法可以構(gòu)造每個模型之間的關(guān)系，而所有方法都取決于上下文。 從某種意義上說，構(gòu)建成分學(xué)習(xí)模型是一門藝術(shù)。 確定使用哪種類型的模型以及之間的關(guān)系需要額外的編碼，創(chuàng)造性思維以及對模型本質(zhì)的基本理解，但是在處理AI在2020年及未來需要解決的復(fù)雜問題時，這將帶來巨大的回報。
人工智能的未來在于成分學(xué)習(xí)。
(本文翻譯自Andre Ye的文章《Compositional Learning is the Future of machine Learning》，參考：
https://medium.com/swlh/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc)
