來源：愛范兒
疫情的到來，讓人臉解鎖功能低下了高貴的頭顱。
當(dāng)口罩成為我們出街必備的單品，在解鎖手機(jī)時，我們總要經(jīng)歷「人臉識別失敗」—「輸入密碼」的繁瑣過程。這不由得讓人懷念起指紋識別的好。
為了優(yōu)化人臉解鎖的體驗(yàn)，今年早些時候國外創(chuàng)業(yè)者 Danielle Baskin 推出了一款帶有面部信息的口罩。該產(chǎn)品通過提取用戶的面部信息，然后印在口罩外側(cè)，用戶戴上口罩后就可以拼湊成完整的臉部。
▲ 實(shí)際上有點(diǎn)驚悚 . 圖片來自：djbaskin
不過這個產(chǎn)品的解鎖成功率尚不明確，并且沒有大量的樣本驗(yàn)證。那么如何讓人臉識別系統(tǒng)，不再被口罩困擾呢？
一些網(wǎng)友漸漸發(fā)現(xiàn)，隨著戴口罩的時間越來越久，手機(jī)似乎在一次次人臉解鎖失敗中找到了「經(jīng)驗(yàn)」，逐漸能夠識別成功戴著口罩的自己。
靠著這個思路，一些科技博主也分享了更高效的教程，比如戴著口罩反復(fù)解鎖，人臉識別不成功就立即輸入密碼，循環(huán)這個動作 30 分鐘左右，手機(jī)便能識別出戴著口罩的自己了。
▲ 戴口罩成功人臉解鎖 . 圖片來自：Farhad Usmanoff
不過在實(shí)踐的過程中，網(wǎng)友們表示不同機(jī)型的「學(xué)習(xí)」速度不一。有人將上述動作重復(fù)了 20 分鐘便已成功，但有的人重復(fù)了上千次，手機(jī)仍然無法識別戴著口罩的自己。
為什么會出現(xiàn)這種情況呢？其實(shí)答案關(guān)乎手機(jī)的 AI 學(xué)習(xí)能力。
▲ 圖片來自：thenextweb
深度學(xué)習(xí)利器—— NPU
如果你有關(guān)注近兩年的手機(jī)發(fā)布會，你一定發(fā)現(xiàn)了手機(jī)廠商們在介紹 SoC 芯片時，都會重點(diǎn)提到 NPU 的升級。
所謂 NPU，就是指神經(jīng)網(wǎng)絡(luò)處理器。在一個手機(jī)芯片中，一般會分為幾個功能區(qū)，發(fā)布會常提的有三個：一是擅長處理繁復(fù)任務(wù)和發(fā)號指令的 CPU，二是擅長圖形處理的 GPU，再者就是擅長處理人工智能任務(wù)的 NPU。
雖然 NPU「占地」沒有 CPU 和 GPU 大，但其能力卻不容忽視，一臺手機(jī)的智慧程度，主要依賴它。
▲ 擁有 NPU 的芯片往往被稱作「AI 芯片」、「仿生芯片」圖片來自：淚雪網(wǎng)
上文提到的訓(xùn)練手機(jī)識別戴口罩的自己，便主要?dú)w功于 NPU 的能力。攝像頭捕捉到人臉畫面后，CPU 和 GPU 會在極短的時間內(nèi)對圖片進(jìn)行預(yù)處理，然后 NPU、GPU 來檢測、提取特征，最后 CPU、GPU 和 NPU 共同完成人臉的識別和分類。
得益于日益強(qiáng)大的算力，整個過程已經(jīng)能夠做到「無感」的程度。在我們拿起手機(jī)的一瞬間，上述流程便已處理完畢。
而 NPU 的加入，讓手機(jī)可以認(rèn)識不同狀態(tài)的你。早上剛醒時，即便面部浮腫，手機(jī)也知道這就是你。甚至被馬蜂蟄了，嘴巴腫成「香腸」，手機(jī)依然能夠識別出來。
▲ 圖片來自：韓船長漂流記
所以經(jīng)過一定量的訓(xùn)練后，手機(jī)便可以「無懼口罩」并認(rèn)出你了。
實(shí)際上，如果只依靠算法，CPU 和 GPU 也可以配合完成學(xué)習(xí)。但缺點(diǎn)是效率低，且功耗大。據(jù)《汽車電子與軟件》介紹，CPU 和 GPU 需要用到數(shù)千條指令完成的神經(jīng)元處理，NPU 只需要一條或幾條就能完成。
▲ NPU 的學(xué)習(xí)效率頗高 . 圖片來自：androidauthority
另外在同等功耗下，NPU 的性能是 GPU 的 18 倍。可以看出 NPU 在深度學(xué)習(xí)的處理效率方面優(yōu)勢明顯。
說到這不得不提一下 NPU 的工作原理。之所以 NPU 的學(xué)習(xí)效率高，不是因?yàn)樗攘恕噶鶄€核桃」，而是它在電路層模擬人類神經(jīng)元和突觸。并且用深度學(xué)習(xí)指令集，直接處理大規(guī)模的神經(jīng)元和突觸。通過突出權(quán)重實(shí)現(xiàn)儲存和計算一體化，NPU 的一條指令，便能勝任以往 CPU 和 GPU 的上千條指令。
▲ 圖片來自：forbes
打個不那么恰當(dāng)?shù)谋扔鳎@就像京東物流實(shí)現(xiàn)的倉儲、物流一體化一樣，極大地提高了送貨效率，當(dāng)天買甚至當(dāng)天就能送到。
NPU 并不雞肋
國內(nèi)最早研究 NPU 的企業(yè)當(dāng)屬寒武紀(jì)。2017 年發(fā)布的麒麟 970 芯片，就曾采用寒武紀(jì)的 NPU 架構(gòu)。麒麟 970 也成為世界首款移動端 AI 芯片。
據(jù)華為介紹，集成 NPU 單元的麒麟 970，相較于四個 Cortex-A73 核心，在處理同樣的 AI 應(yīng)用任務(wù)時，擁有大約 50 倍能效和 25 倍性能優(yōu)勢。例如在圖像識別速度上，可達(dá)到約 2000 張 / 分鐘，遠(yuǎn)高于業(yè)界同期水平。
▲麒麟 970. 圖片來自：電子工程專輯
11 天后，iPhone 8/8 Plus、iPhone X 攜帶著 A11 仿生芯片面世，蘋果在發(fā)布會上表示這是其有史以來最強(qiáng)大、最智能的芯片。
A11 Bionic 是蘋果首款以「仿生」命名的處理器，也是蘋果第一款支持 AI 加速的處理器。比如在人臉識別的功能上，其神經(jīng)網(wǎng)絡(luò)引擎，讓 A11 支持速度高達(dá)每秒 6000 億次運(yùn)算識別。
▲ 圖片來自：stealthsettings
也是從這一年開始，越來越多的廠商開始重視手機(jī) AI 能力的宣傳。比如華為主打的 AI 攝影、超級夜景、隔空手勢等功能；iPhone 引以為傲的 Face ID、人像虛化、Deep Fusion（深度融合）等功能，都緊緊依賴著 NPU 的能力。
▲ 華為 AI 手勢操控
自 2019 年 6 月開始，隨著麒麟 810 的發(fā)布，華為開始使用自研達(dá)芬奇架構(gòu)的手機(jī) AI 芯片。達(dá)芬奇架構(gòu)的巧妙之處在于各單元分工清晰，可以實(shí)現(xiàn)更高效的 AI 計算。
據(jù)《電子產(chǎn)品世界》介紹，達(dá)芬奇架構(gòu)核心的 3D Cube、Vector 向量計算單元、Scalar 標(biāo)量計算單元等，都各自負(fù)責(zé)不同的運(yùn)算任務(wù)實(shí)現(xiàn)并行化計算模型，共同保障 AI 計算的高效處理。實(shí)現(xiàn)高算力、高能效、靈活可裁剪的特性。
在剛結(jié)束不久的 Mate 40 系列發(fā)布會上，華為強(qiáng)調(diào)麒麟 9000 芯片的 NPU 升級到達(dá)芬奇架構(gòu) 2.0 版本，算力翻番。AI 計算能力更強(qiáng)的同時，能效提升了 15%，網(wǎng)絡(luò)運(yùn)行性能也提升了 20%。
蘇黎世聯(lián)邦理工學(xué)院推出的 AI Benchmark 榜單中，麒麟 9000 摘得安卓陣營的桂冠，分?jǐn)?shù)是高通驍龍 865 的兩倍多。
▲ AI Benchmark 榜單
還記得上文提到的麒麟 970 每分鐘可識別 2000 張圖像的能力嗎？麒麟 9000 已經(jīng)進(jìn)化到 2000 張 / 秒的速度。另外，發(fā)布會重點(diǎn)展示的 AI 隔空手勢、AI 靈動熄屏、AI 字幕等，也都是其 NPU 能力的顯現(xiàn)。
讓我印象尤為深刻的是「智感支付」功能，當(dāng)手機(jī)感知到靠近掃碼盒時，便會自動彈出付款碼頁面，一氣呵成完成支付。這代表著理想的智能終端的方向：向「知你」、「懂你」、「幫你」的方向邁進(jìn)。
▲華為智感支付 . 圖片來自：VDGER
而第四代 iPad Air 在發(fā)布之時，蘋果也著重強(qiáng)調(diào)了其 NPU 能力的精進(jìn)。相比 A12 仿生處理器，A14 仿生新一代神經(jīng)網(wǎng)絡(luò)引擎讓機(jī)器學(xué)習(xí)性能快達(dá)兩倍。
超高的機(jī)器學(xué)習(xí)速度，讓 A14 仿生芯片可以實(shí)現(xiàn)超級像素功能，搭配 pixelmator 使用，放大裁切后的照片，像素會自動增補(bǔ)，讓照片更清晰。
反映到 iPhone 12 系列上，計算攝影能力也得到了空前改進(jìn)。舉個小例子，在延時攝影時，手機(jī)會自動計算被攝物體，如果是在拍車流，那么手機(jī)便會自動降低快門速度，讓車燈呈現(xiàn)拖影的感覺，畫面流動感更強(qiáng)。
新一代的 iPhone 在 Deep Fusion、HDR 視頻等方面，與 iPhone 11 相比都有著肉眼可見的變化。這都得益于 A14 強(qiáng)大的 AI 計算能力。
我們可以對 NPU 期待什么？
雖然移動端 NPU 在近兩、三年才開始被廠商宣傳，實(shí)際上和它相關(guān)的概念在 2013 年就已出現(xiàn)。
當(dāng)時，高通希望通過一種模仿人腦的計算結(jié)構(gòu)，縮小普通機(jī)器運(yùn)算與人腦之間的差距，這種通過模擬神經(jīng)元的運(yùn)算處理器，被高通稱之為「Zeroth」。
▲ 高通對 Zeroth 的介紹
高通的 Zeroth 芯片，運(yùn)算結(jié)構(gòu)模仿了人類生物神經(jīng)細(xì)胞的運(yùn)作模式，是從大腦結(jié)構(gòu)層面模仿的。而 NPU 則是在大腦功能層面模仿的，兩者的方向并不一致。而高通也一直堅持了自己的方向，沒有加入獨(dú)立 NPU 的大軍，而是堅持著人工智能引擎 AI Engine 的方向。
據(jù)「芯智訊」報道，在高通驍龍 845 發(fā)布之時，一些外界聲音批評高通沒有順應(yīng) NPU 的趨勢，以至于在 AI 能力上落后。而高通高級副總裁兼移動業(yè)務(wù)總經(jīng)理 Alex Katouzian 回應(yīng)稱，高通雖然沒有獨(dú)立的神經(jīng)網(wǎng)絡(luò)引擎單元，但是采用了更為彈性的機(jī)器學(xué)習(xí)架構(gòu)（AI Engine），在通用平臺內(nèi)做內(nèi)核優(yōu)化，分布在 CPU、GPU、DSP 等每個單元上，從而可以針對不同移動終端提供彈性調(diào)用各個處理單元。
你可以這樣理解：NPU 的方向是分工明確，每個單元的集約化程度較高；而高通 AI Engine 的方向是「有活大家一起干」。
直到采用第五代多核人工智能引擎 AI Engine 的驍龍 865 系芯片發(fā)布時，高通依舊沒有踏入 NPU 的道路。
▲ 高通在圖片的左下方強(qiáng)調(diào)了 AI 能力
不過實(shí)際使用中，高通驍龍 865 的學(xué)習(xí)能力依然值得肯定。比如我在近半個月使用搭載高通驍龍 865 的 vivo X50 Pro 時，每天解鎖十次左右，它現(xiàn)在已經(jīng)能成功識別出戴口罩的我了。
但從數(shù)據(jù)上看，其 AI 學(xué)習(xí)能力，已落后麒麟 9000 和 A14 仿生不少。NPU 一次次用數(shù)據(jù)證明了自己的 AI 實(shí)力，高通下一代 AI Engine 能否力挽狂瀾，我們還需等待 875 系列芯片的面世才能知道。
人工智能時代，我希望看到的場景是，手機(jī)不再是被動響應(yīng)用戶需求的終端，而是能夠主動分析、感知用戶當(dāng)下的需求，并可以預(yù)先提供相關(guān)服務(wù)的智慧終端。
▲ Mate40 系列 AI 能力展示
在這方面，各家廠商還都處在起步階段。比如在應(yīng)用建議上，目前做的最好的個人認(rèn)為是小米。通過時間和場景等因素的分析，每次它都能「猜到」我想打開的軟件，并智能排序在最顯眼的位置。而 Mate40 系列支持的「智感支付」更無疑在 AI 道路上走在了前列，也給了我們更多的想象空間。
值得注意的是，除了手機(jī)，NPU 也逐漸應(yīng)用到平板電腦、筆記本電腦等移動端上。蘋果近日發(fā)布的 M1 芯片，就擁有 16 核的 NPU，每秒可以執(zhí)行 11 萬億次運(yùn)算，將機(jī)器學(xué)習(xí)的速度提升至 11 倍，這是傳統(tǒng) PC 難以企及和比擬的。
而搭載 M1 芯片的 MacBook 系列、Mac mini 將帶來哪些使用體驗(yàn)上的變化，相信令人期待。
在當(dāng)前的軟件生態(tài)下，移動端 CPU 和 GPU 的提升，對于用戶日常使用來說已經(jīng)感知不強(qiáng)了。比如一臺 iPhone XS 和一臺 iPhone 12 相比，在應(yīng)用的流暢性上幾近一致。更加影響用戶體驗(yàn)的，是機(jī)器學(xué)習(xí)能力的變化。這也是為什么我們要關(guān)注 NPU 的發(fā)展。
或許再過十年，當(dāng) AI 技術(shù)發(fā)展地更為成熟，「智能」手機(jī)是時候改名為「智慧」手機(jī)了。
