近日，科技界傳來一則關(guān)于人工智能可持續(xù)發(fā)展的新動(dòng)向。據(jù)marktechpost報(bào)道，meta AI旗下的FAIR研究團(tuán)隊(duì)與佐治亞理工學(xué)院攜手，共同推出了一個(gè)名為CATransformers的創(chuàng)新框架。這一框架將碳排放作為核心設(shè)計(jì)要素，旨在通過優(yōu)化模型架構(gòu)與硬件性能的結(jié)合，大幅度降低AI系統(tǒng)的總碳足跡。
隨著機(jī)器學(xué)習(xí)技術(shù)在推薦系統(tǒng)、自動(dòng)駕駛等領(lǐng)域的廣泛應(yīng)用，其帶來的環(huán)境壓力也日益凸顯。這些技術(shù)背后需要強(qiáng)大的計(jì)算資源支持，往往依賴于定制的硬件加速器來運(yùn)行。然而，無論是訓(xùn)練階段還是推理階段，高能耗都直接導(dǎo)致了運(yùn)營碳排放的增加。
不僅如此，硬件從制造到報(bào)廢的全生命周期中，還會(huì)產(chǎn)生所謂的“隱含碳”，進(jìn)一步加劇了生態(tài)負(fù)擔(dān)。隨著全球各行業(yè)對(duì)AI技術(shù)的加速采納，如何有效應(yīng)對(duì)運(yùn)營碳和隱含碳的雙重挑戰(zhàn)，成為了亟待解決的問題。
以往，減少碳排放的方法主要聚焦于提升運(yùn)營效率，例如通過優(yōu)化訓(xùn)練和推理過程來降低能耗，或提高硬件利用率。然而，這些方法大多忽視了硬件設(shè)計(jì)和制造階段的碳排放，也未能充分考慮模型設(shè)計(jì)與硬件效率之間的相互作用。
而CATransformers框架的推出，則打破了這一局限。該框架通過引入多目標(biāo)貝葉斯優(yōu)化引擎，能夠同時(shí)評(píng)估模型架構(gòu)與硬件加速器的性能，從而在延遲、能耗、精度和總碳足跡之間找到平衡點(diǎn)。這一創(chuàng)新性的設(shè)計(jì)思路，為可持續(xù)AI的發(fā)展開辟了新的道路。
特別是在邊緣推理設(shè)備方面，CATransformers框架展現(xiàn)出了顯著的優(yōu)勢(shì)。通過剪枝大型CLIP模型來生成變體，并結(jié)合硬件估算工具對(duì)碳排放與性能進(jìn)行分析，該框架成功推出了CarbonCLIP-S和CarbonCLIP-XS等模型。這些模型在保持高精度的同時(shí)，實(shí)現(xiàn)了碳排放的大幅降低和延遲的有效控制。
研究表明，單純追求延遲優(yōu)化的設(shè)計(jì)策略，可能會(huì)導(dǎo)致隱含碳的增加。而CATransformers框架通過綜合考慮碳排放與延遲的優(yōu)化策略，實(shí)現(xiàn)了總排放的顯著削減，同時(shí)保持了極低的延遲損失。
CATransformers框架的推出，標(biāo)志著AI開發(fā)領(lǐng)域向可持續(xù)性邁出了重要一步。通過將環(huán)境指標(biāo)嵌入到設(shè)計(jì)過程中，該框架為可持續(xù)機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)奠定了堅(jiān)實(shí)基礎(chǔ)。這充分表明，如果在AI開發(fā)的初期階段就充分考慮硬件能力與碳影響，完全有可能實(shí)現(xiàn)性能與可持續(xù)性的雙贏局面。隨著AI規(guī)模的持續(xù)擴(kuò)大，CATransformers框架無疑為行業(yè)提供了一個(gè)切實(shí)可行的減排路徑。
