在人工智能領(lǐng)域迅速推進(jìn)的今天，meta的FAIR研究小組攜手佐治亞理工學(xué)院，共同推出了一款名為CATransformers的創(chuàng)新框架。該框架的核心設(shè)計理念聚焦于減少碳排放，力圖通過改進(jìn)模型結(jié)構(gòu)和硬件性能，大幅度降低AI技術(shù)在運(yùn)營過程中所產(chǎn)生的碳足跡，為AI技術(shù)的可持續(xù)發(fā)展鋪設(shè)道路。
隨著機(jī)器學(xué)習(xí)技術(shù)在推薦系統(tǒng)、自動駕駛等領(lǐng)域的廣泛應(yīng)用，其背后的計算需求呈現(xiàn)出爆炸式增長。然而，這一技術(shù)的高能耗問題也日益嚴(yán)峻。傳統(tǒng)的AI系統(tǒng)往往需要強(qiáng)大的計算資源，并依賴于專門的硬件加速器來運(yùn)行，這不僅在模型的訓(xùn)練和推理階段消耗了大量的能源，而且在運(yùn)營過程中產(chǎn)生了大量的碳排放。硬件從制造到報廢的整個生命周期，都會產(chǎn)生所謂的“隱含碳”，進(jìn)一步加劇了生態(tài)環(huán)境的負(fù)擔(dān)。
當(dāng)前，多數(shù)減排策略主要集中在提升運(yùn)營效率上，例如優(yōu)化能耗和提高硬件的利用率，但這些策略往往忽視了硬件設(shè)計及制造階段的碳排放。為了應(yīng)對這一挑戰(zhàn)，CATransformers框架應(yīng)運(yùn)而生。它采用多目標(biāo)貝葉斯優(yōu)化引擎，全面評估模型架構(gòu)和硬件加速器的性能，以在延遲、能耗、精度和總碳足跡之間找到最佳的平衡點(diǎn)。
CATransformers框架尤其針對邊緣推理設(shè)備進(jìn)行了深度優(yōu)化。通過對大型CLIP模型進(jìn)行剪枝，該框架生成了一系列碳排放較低但性能卓越的變體。例如，CarbonCLIP-S在保持與TinyCLIP-39M相當(dāng)精度的同時，碳排放減少了17%，延遲也控制在了15毫秒以內(nèi)。而CarbonCLIP-XS不僅比TinyCLIP-8M的精度提升了8%，碳排放還減少了3%，延遲更是低于10毫秒。
研究結(jié)果顯示，如果僅優(yōu)化延遲而忽視其他因素，隱含碳的排放量可能會增加高達(dá)2.4倍。然而，如果采用綜合考慮碳排放和延遲的設(shè)計策略，可以實(shí)現(xiàn)19%到20%的總排放削減，同時延遲的損失幾乎可以忽略不計。CATransformers框架的推出，為可持續(xù)機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計提供了堅實(shí)的基礎(chǔ)，展示了在AI開發(fā)初期就考慮硬件能力和碳影響的開發(fā)模式，可以實(shí)現(xiàn)性能與可持續(xù)性的雙重提升。
