沉浸式全息影像、虛擬數(shù)字人員工、數(shù)字藏品、虛擬營業(yè)廳、城市數(shù)字孿生、超寫實數(shù)字人......近日舉辦的2022世界人工智能大會成了眾多元宇宙應(yīng)用的博物館。在亦真亦幻的展示中，元宇宙的精彩已經(jīng)撲面而來。
不過，元宇宙的完全落地還需滿足多重條件，其中之一就是要得到端側(cè)和邊緣側(cè)AI的強力支撐。因為，AI部署在端側(cè)可以提升用戶數(shù)據(jù)的安全性，并助力高效地利用有限的網(wǎng)絡(luò)資源和帶寬；而在邊緣側(cè)，AI則能及時處理多種元宇宙場景下的海量數(shù)據(jù)，并推動AI整體的規(guī)模化部署和提升云端智能水平。
其實，支撐元宇宙只是端側(cè)和邊緣側(cè)AI的應(yīng)用目標之一。隨著AI技術(shù)不斷融入邊緣側(cè)和端側(cè)，各節(jié)點都將獲得空前強大的計算和決策能力。在此過程中，作為AI技術(shù)的具體載體，邊緣側(cè)和端側(cè)AI芯片將發(fā)揮無可比擬的作用。
邊緣側(cè)和端側(cè)AI的崛起
邊緣側(cè)是一個經(jīng)常被提起又難以被理解的概念，在物聯(lián)網(wǎng)的世界特指為設(shè)備端的附近，而為應(yīng)用開發(fā)者和服務(wù)提供商在網(wǎng)絡(luò)的邊緣側(cè)提供云服務(wù)和IT環(huán)境服務(wù)就稱為邊緣計算。當邊緣計算、AI和應(yīng)用場景相結(jié)合，就產(chǎn)生了邊緣側(cè)AI。由于邊緣側(cè)覆蓋了各種應(yīng)用場合和設(shè)備，邊緣側(cè)AI得到了無比廣闊的發(fā)展空間。
邊緣側(cè)AI運行在邊緣設(shè)備上，相較于云端的AI，其數(shù)據(jù)安全性更高，功耗更低，時延更短，可靠性更高，帶寬需求更低，還可以更大限度的利用數(shù)據(jù)，以及進一步縮減數(shù)據(jù)處理成本。
相對來說，端側(cè)AI更容易理解，活躍在我們的手機和其他各種終端設(shè)備上的AI技術(shù)就是端側(cè)AI。與邊緣側(cè)AI相同，端側(cè)AI運行在本地設(shè)備上，使得其更加安全、高效，也不會對帶寬有過分依賴。
由于傳感器技術(shù)的進步和5G的普及，邊緣側(cè)AI開始大規(guī)模部署，并為制造、醫(yī)療健康、金融服務(wù)、交通、能源等行業(yè)開發(fā)出新的業(yè)務(wù)模式，如制造行業(yè)的預(yù)測維護和醫(yī)療行業(yè)的AI診療等。同時，端側(cè) AI 在底層技術(shù)和業(yè)務(wù)應(yīng)用等方面也取得了快速發(fā)展，逐漸從嘗試性應(yīng)用變成驅(qū)動業(yè)務(wù)創(chuàng)新的核心推動力之一，計算攝影、智能門禁、車載ADAS等應(yīng)用就是最好的證明。
這些端側(cè)和邊緣側(cè)AI的主流應(yīng)用中都采用了智能視覺技術(shù)，結(jié)合圖像識別與AI訓練，構(gòu)建起強大的智能視覺應(yīng)用生態(tài)。
因為感知場景非常碎片化，面對越發(fā)復(fù)雜的場景應(yīng)用，智能視覺所面臨的技術(shù)挑戰(zhàn)也日益艱巨。比如，在暗光、逆光場景下輸出高質(zhì)量圖像就是行業(yè)公認的難題。解決的辦法之一就是采取多光譜融合技術(shù)，將可見光與紅外光感知信息進行融合，在不增加光污染的同時，解決低照環(huán)境下由于可見光感光能力不足所造成的細節(jié)損失的問題，實現(xiàn)圖像色彩與細節(jié)的最佳平衡。愛芯元智采用AI ISP的方式，對傳統(tǒng)ISP的某些能力進行增強，能夠?qū)崿F(xiàn)黑光全彩的效果。
同樣，為了做到對不同目標的區(qū)分和運動場景下的目標識別，結(jié)構(gòu)化識別、多算法融合也是必要的技術(shù)。諸如此類的AI算法越來越多，就意味著需要強大的AI算力作為支撐，也意味著作為端側(cè)和邊緣側(cè)AI最直接載體的AI芯片必須要在算力和感知方面不斷創(chuàng)新，才能發(fā)揮出算法的最大作用。
算力和感知：NPU和ISP的完美融合
在端側(cè)和邊緣側(cè)AI芯片中，負責提供算力的主要是NPU單元。它是整個AI芯片中非常重要的一個模塊，能夠很好地支持最新的深度學習算法，且算力表現(xiàn)遠超傳統(tǒng)的CPU/GPU。
不過NPU也面臨著內(nèi)存墻和功耗墻的挑戰(zhàn)，要發(fā)揮NPU的潛力，降低開發(fā)成本，需要特殊的技術(shù)——混合精度。
混合精度就是將不同精度的浮點數(shù)/定點進行數(shù)值計算。業(yè)內(nèi)專家通過研究發(fā)現(xiàn)，通過合理分配不同環(huán)節(jié)的數(shù)值精度，就可在保證最終計算結(jié)果準確度的條件下，實現(xiàn)整體計算的加速。
愛芯元智設(shè)計了混合精度的NPU，可以在端側(cè)邊緣側(cè)成本受限的情況下提供充沛的有效算力，支持更多的智能算法。
該NPU是一個異構(gòu)多核的系統(tǒng)，除了專注于網(wǎng)絡(luò)本身加速的CONV計算核外，還配有豐富的在Vector內(nèi)核上實現(xiàn)的CV算子，同時還會有SDMA等用于數(shù)據(jù)的搬運，使得算力在AI圖像處理中能夠有更好的提升。
為了降低NPU系統(tǒng)對 CPU的占用，愛芯元智還專門設(shè)計了多核硬件同步的機制，這樣整個應(yīng)用的絕大部分Pipeline都可以跑在NPU上，不對CPU占用，從而讓整個應(yīng)用跑得更快。
NPU的強大算力在智能視覺應(yīng)用中有了巨大的發(fā)揮空間。因為智能視覺的感知是由AI ISP所負責，為了能應(yīng)對更加復(fù)雜的場景應(yīng)用，需要將服務(wù)器上的AI分析處理能力前移放入ISP中，沒有強大算力的支撐，這就是一個無法完成的任務(wù)。
比如，在智慧城市場景中，使用AI ISP可以解決暗光背景下的噪聲問題，輸出清晰的畫面，但使用AI ISP的技術(shù)，就必須用AI算法全分辨率、全幀率地對視頻進行處理。僅一個500萬像素的視頻碼流，要做到全分辨率、全幀率的處理，就會對NPU的算力提出非常高的要求。
另一方面，要對場景進行智能分析，就要把一些行業(yè)專家系統(tǒng)用神經(jīng)網(wǎng)絡(luò)的方式進行構(gòu)建。這個AI專家系統(tǒng)要足夠聰明，對應(yīng)的就是一個龐大的神經(jīng)網(wǎng)絡(luò)，要讓其順利運轉(zhuǎn)，也會對NPU算力提出很高的要求。
當然，僅有強大的算力也是不夠的，要讓AI ISP發(fā)揮最大的潛力，還需要對算法進行選擇，如果將所有算法進行裝載，勢必會加重芯片的運算負擔和功耗，反而會影響芯片的表現(xiàn)。
愛芯元智公司進行了很好的創(chuàng)新，其沒有將AI ISP整體的Pipeline進行替換，只擇其中重要的模塊進行AI增強，將有限的算力集中于整個AI ISP中最關(guān)鍵、人眼最可知的這些功能中，以實現(xiàn)整個AI ISP的最佳效果。這樣不但能使得畫質(zhì)明顯改善，還能隨AI模型迭代實現(xiàn)快速升級。
為了讓NPU和ISP實現(xiàn)強強聯(lián)合，愛芯元智還開發(fā)了聯(lián)合架構(gòu)設(shè)計，最終大幅提升了傳統(tǒng)ISP中多個關(guān)鍵模塊的性能，將AI畫質(zhì)提升算法應(yīng)用到4K視頻顯示上。
愛芯元智的兩個主要產(chǎn)品完美體現(xiàn)了上述設(shè)計思路。其中，AX620A是目前在智慧城市等應(yīng)用中的主流產(chǎn)品，擁有一個四核Cortex-A7CPU，32bitLPDDR4x，包含H.264、H.265編碼功能，算力為14.4TOps，有兩路的MIPI，一路的USB，具有快速喚醒、低功耗的特點。
另一款產(chǎn)品是AX170A，為影像方面專用的人工智能芯片，集成了四核Cortex A7 CPU、自研AI-ISP和混合精度NPU，同時片上搭載LPDDR4專用內(nèi)存，可以支持4路MIPI信號輸入；最高算力可達28.8TOPS，獨立DDR帶寬最高可達到8.5GBps，可對4K 30fps的影像進行實時畫質(zhì)優(yōu)化，配合主控芯片可實現(xiàn)超級夜景視頻和優(yōu)秀的暗光拍攝功能。
寫在最后
端側(cè)和邊緣側(cè)AI正在隨日益增長的實時性業(yè)務(wù)需求而變得愈發(fā)重要，IDC 預(yù)測，到 2023 年，接近20%的用于人工智能工作負載的服務(wù)器將部署在邊緣。
可以預(yù)期，AI芯片將有更廣闊的市場空間，同時也要增加與算法和應(yīng)用場景的契合度。對于廠商來說，可以針對不同應(yīng)用自主開發(fā)算法，只是這樣將耗費大量的資源，也不可能實現(xiàn)全覆蓋。是否還可存在別的路徑呢？
在這方面，愛芯元智的做法可以值得借鑒。其提供了對多種框架生成的AI算法的支持，也可以廣泛接收來自于不同廠商的算法，通過離線編譯優(yōu)化的工具進行編譯，或利用其提供的分析工具對性能做一些分析，從而實現(xiàn)算法在芯片上的部署和快速迭代。
在自主開發(fā)的基礎(chǔ)上，增加兼容性，這也許就是今后端側(cè)和邊緣側(cè)AI芯片發(fā)展的新方向。
【來源：集微網(wǎng)】
