智能手機早期誕生時，它的智能只能說是“Smart”。發(fā)展至今，我們再說到智能手機時，它的智能早已超越了“Smart”而變?yōu)榱?ldquo;AI”（人工智能）。不得不說，近年來，伴隨著AI技術(shù)更多、更廣泛地應(yīng)用于智能手機當中，用戶開始漸漸地感覺到，手邊的這臺便攜智能終端是真的開始智能了，其最大的體現(xiàn)就是功能的進一步豐富與好用。
AI美顏早已成為大多數(shù)用戶自拍首選功能
與此同時，還有一個問題擺在消費者的面前，那就是“選擇”。據(jù)不完全統(tǒng)計，僅今年上半年，全新發(fā)布的智能手機就有幾十款，面對這么多的產(chǎn)品，用戶該如何選擇？成為大多數(shù)消費者購機的主要困擾。于是，為了幫助消費者更好地去挑選帶有AI功能的智能手機產(chǎn)品，繼智能手機性能、拍照“跑分”后，終于，又來了針對AI性能的“跑分”。
當下，隨著“AI跑分”逐漸“成熟”（并非真的成熟，僅僅是越來越多地出現(xiàn)在大眾視野中），究竟該如何解讀這樣的一個“跑分”？從消費者的角度來看，如何理解這樣的“跑分”？“AI跑分”是否具有參考價值？一系列的問題進一步困擾著廣大的消費者。早先，筆者的一位友人也曾問道，難道不是像性能與拍照跑分一樣，分高就證明性能好、分低就證明性能差嗎？筆者負責任地告訴他，當然不是！至于為什么？那正是這篇文章想要跟你講的！
AI性能究竟取決于什么？
了解AI技術(shù)的人想必都會懂得，AI技術(shù)并不是簡單的運算快慢可以評判得了的?？紤]到大多數(shù)用戶并非對AI技術(shù)了解得那么深入，在正式開始講講“AI跑分”復雜在哪前，筆者認為還是有必要普及一些有關(guān)終端側(cè)AI性能的基本知識。
人工神經(jīng)網(wǎng)絡(luò)
無論是終端側(cè)AI還是云端側(cè)AI，在為用戶提供服務(wù)的過程中，決定服務(wù)質(zhì)量優(yōu)劣的一大因素，就是神經(jīng)網(wǎng)絡(luò)。如今，我們常說的神經(jīng)網(wǎng)絡(luò)主要是指受人類大腦活動方式的啟發(fā)打造的算法模型。在其正式投入使用前，神經(jīng)網(wǎng)絡(luò)首先需要經(jīng)過訓練階段，也就是常說的機器學習階段。即通過大量數(shù)據(jù)的學習，讓人工神經(jīng)網(wǎng)絡(luò)可以基于數(shù)據(jù)得出一些結(jié)論、或者是基于特定數(shù)據(jù)完成新的推理。例如小米智能手機的AI魔法換天功能，就是在一套算法中，大量學習了帶有“天”的圖片為數(shù)據(jù)基礎(chǔ)，進而演化到在功能實現(xiàn)的過程中，算法自己可以準確地識別出圖片中“天”的所在，并自動進行替換。
小米10 PRO 5G AI魔法換天樣張
因此，算法模型的完善與否，自然成為決定AI性能的關(guān)鍵因素之一。當然，算法還是要運行在硬件上，以智能手機上的終端側(cè)AI來說，除了算法模型的質(zhì)量外，運算能力當然也是評判AI性能的重要標準。而AI跑分，往往就是針對硬件的能力進行測試，并將測試結(jié)果帶入到一套打分體系下，加以權(quán)重后，形成一個最終得分來展現(xiàn)終端AI性能的優(yōu)劣。
聽方法論似乎覺得沒什么不妥，但在實際執(zhí)行的過程中，可就沒有想象中那么簡單了。如今，令廣大消費者大呼AI跑分看不懂的關(guān)鍵在于不同第三方機構(gòu)提供的AI跑分結(jié)果大相徑庭。究竟應(yīng)該相信誰？消費者顯然已經(jīng)看懵了。
AI跑分大相徑庭背后，反映出了什么？
究竟為什么智能手機AI跑分的成績會出現(xiàn)截然不同的結(jié)果呢？為了說明這樣一個問題。在此，筆者針對目前市面上比較常見的三大AI跑分軟件、機構(gòu)進行詳細講解，盡可能做到通俗易懂讓消費者可以做到一目了然！
AIMark
首先是AIMark，它是當下比較常見的一款安裝在智能手機上的AI跑分軟件，是由魯大師開發(fā)，主要采用了面向圖像分類、圖像識別和圖像分割的ResNet-34、Inception-V3、Mobilenet-SSD和DeepLab-v3+模型來進行測試。
在評分標準上，終端設(shè)備在AIMark獲取的分值取決于移動平臺處理數(shù)據(jù)集和執(zhí)行特定目標識別的效率（簡單說就是“跑”算法的速度以及識別的準確率）。
先來看下由國外著名硬件測試網(wǎng)站Hothardware整理的幾組跑分成績：
可以看到，在AIMark的測試中，高通驍龍865移動平臺的表現(xiàn)脫穎而出，這主要取決于865移動平臺所支持的第五代Qualcomm人工智能引擎AI Engine。因此，在結(jié)果中Galaxy S20 Pro和一加8的AI跑分成績遠超其他終端。
第五代Qualcomm人工智能引擎AI Engine
同時，我們還可以看到，盡管Pixel 4 XL和Galaxy Note 10都搭載驍龍855移動平臺，但由于采用了不同的軟件配置和人工神經(jīng)網(wǎng)絡(luò)應(yīng)用支持，兩款機型的表現(xiàn)有很大差異。
AITuTu
AITuTu也是目前市面上為智能手機進行AI跑分時常用的App，它也是采用了面向圖像分類的Inception-v3神經(jīng)網(wǎng)絡(luò)以及面向目標檢測的MobileNet-SSD來進行測試。評分標準上，基于終端處理數(shù)據(jù)的速度以及準確性來衡量綜合分值。
同樣的幾組跑分如下：
在AITuTu的跑分結(jié)果上看，采用高通驍龍移動平臺的終端設(shè)備依舊領(lǐng)先。
蘇黎世AI跑分應(yīng)用（ETH AI Benchmark）
蘇黎世AI跑分也是如今經(jīng)常被廠商所提及的第三方AI跑分機構(gòu)，相比此前的兩款跑分APP，蘇黎世的AI Benchmark評估的是一些關(guān)鍵的AI和計算機視覺算法的速度、準確率和內(nèi)存要求。測試方案包括圖像分類與人臉識別方法、用于圖像超分辨率和圖像增強的人工神經(jīng)網(wǎng)絡(luò)、玩Atari游戲和進行背景虛化模擬的AI模型以及自動駕駛系統(tǒng)中所用的算法。算法結(jié)果能夠以可視化圖形的方式呈現(xiàn)，進而了解其在不同AI領(lǐng)域的最新表現(xiàn)。
這里通過兩個ETH AI Benchmark的版本（v3、v4）測試成績來分析：
首先是比較早版本的ETH AI Benchmark v3，可以看到，得分的情況似乎不太平衡。從最終得分的確定過程可以看到，v3版本的跑分尤其重視浮點（FP）運算的性能，讓浮點運算的權(quán)重很高。因此，包含針對浮點運算單獨優(yōu)化的專用AI處理器的麒麟990得分遙遙領(lǐng)先。
接下來是ETH AI Benchmark v4的測試結(jié)果：
從v4的測試結(jié)果不難看出，在這個版本的評分過程中，降低了浮點運算的權(quán)重，因此，麒麟990勝出的分值相比v3版本來說，大幅降低，但由于v4版本依然讓FP16浮點運算保持了很高的權(quán)重，因此AI Benchmark的此次版本更新并未影響原有趨勢，對于這點，我們在下圖拆解的AI Benchmark的細項測試中可以更明顯地看出端倪。
其中的Avg. Init Times (ms)，也就是“平均初始化時間”的數(shù)值越低越好
由于第五代Qualcomm人工智能引擎AI Engine更重視INT8定點模式，因此搭載驍龍865移動平臺的三星最新機型在INT8性能上更好，準確度也更高，并且能夠獲得INT8帶來的省電優(yōu)勢。
此外，還需要注意的是，如上圖所示，蘇黎世AI跑分還有一個問題在于，其采用的是Android NN API（安卓平臺基礎(chǔ)SDK）。但實際上，使用驍龍SDK的廠商比例為94%，使用Android NN API的比例小于1%。而蘇黎世跑分由于不支持驍龍SDK，導致在測試中并不能發(fā)揮出驍龍平臺的全部AI性能。而在AIMark和AITutu上則由于能夠支持驍龍SDK讓該平臺的AI性能得到了更好的發(fā)揮。
看過了這些測試，究竟反映出了什么呢？筆者進行了一個簡單的總結(jié)：
一、是否支持特定SDK會對AI跑分結(jié)果造成影響
SDK是什么？其中文譯名是“軟件開發(fā)工具包”，一般來說，是AI硬件供應(yīng)商提供給軟件開發(fā)者、以方便其在軟件端實現(xiàn)AI功能的開發(fā)者工具。例如，高通有名為SNPE的SDK、聯(lián)發(fā)科技有NeuroPilot、海思有HiAI等等。從上面的AI跑分表現(xiàn)可以看到，當軟件基于某家廠商的SDK進行測試時，優(yōu)勢還是非常明顯的！而這種優(yōu)勢并不是“作弊”，而是通過軟件的兼容性優(yōu)化將硬件的AI性能發(fā)揮到極致，畢竟AI是通過軟件與硬件的結(jié)合實現(xiàn)。因此，似乎目前市面上的AI跑分的做法都過于極端，對于廠商SDK的支持情況不同導致它們走向了不同的結(jié)果，這樣得到的分數(shù)，很難讓用戶一目了然地了解智能手機的AI性能。
二、對INT8與FP16運算的支持
在蘇黎世AI跑分的單項得分中我們可以看到，麒麟990與驍龍865分別針對不同的數(shù)據(jù)格式進行了適配優(yōu)化。高通更重視INT8，華為則選擇了FP16。其實，這兩種在AI計算深度學習模型中常見的數(shù)據(jù)格式并沒有優(yōu)劣、好壞之分。只是在手機端的AI應(yīng)用中，往往要根據(jù)實際使用場景進行綜合考量的選擇。在現(xiàn)實場景下，目前大多數(shù)智能手機應(yīng)用采用的是INT8，因其總體上能效更高，并且采用INT8的AI模型效率和精度也在不斷提升。相比之下，目前FP16可以帶來較高的精度，但實際上絕大多數(shù)消費者應(yīng)用并不需要，并且其也會帶來成倍增長的能耗；顯然，INT8對于智能手機似乎要更合適一些。
另外，需要補充的一點是，高通在AI方面一直不同于其他廠商，采取的是異構(gòu)設(shè)計思路，也就是利用多種不同引擎協(xié)同完成AI任務(wù)，以在精度和功耗之間取得最佳平衡。比如驍龍865實現(xiàn)的是高性能、低功耗、連接、安全等特性結(jié)合在一起的全系統(tǒng)AI，包括CPU、GPU、Hexagon處理器、ISP、Qualcomm傳感器中樞、安全處理單元、調(diào)制解調(diào)器，甚至Quick Charge等等。我們剛剛一直在談的INT8主要是基于其中Hexagon處理器的支持——包括INT8、INT16定點運算；而與此同時，其GPU實現(xiàn)的AI計算則最主要是FP16、FP32浮點運算。從中，我們就能看出，為了實現(xiàn)其所說的“在精度和功耗之間取得最佳平衡”的結(jié)果，高通對INT8和FP16等等的優(yōu)化實現(xiàn)是有一個很精細化的分工的。
三、AI跑分智能表現(xiàn)終端設(shè)備AI性能的一方面
AI跑分現(xiàn)階段顯然還無法做到像CPU、GPU跑分那樣，通過多個維度來進行測試，并得出一個比較公認的分數(shù)供用戶參考。顯然，各家AI跑分所使用的用于測試的算法模型以及方法都太過單一，不太能夠還原用戶真實使用AI應(yīng)用的場景。因此，大部分的分數(shù)對于用戶來說，參考價值有限。以目前的測試情況，不排除有廠商針對測試算法模型進行單獨優(yōu)化獲取高分的可能。
寫在最后
筆者認為，針對AI跑分這件事來說，消費者還需要牢記那句經(jīng)典廣告語，“別看廣告，看療效１隨著智能手機AI技術(shù)的應(yīng)用逐漸豐富，諸如AI魔法換天、AI美顏、AI瘦身、AI魔法分身、AI語音助手等越來越多的應(yīng)用在智能手機端落地。目前的AI跑分，最需要注意的是它們各自針對INT8定點與FP16浮點性能的權(quán)重差別，因為二者的差別在上述三種常見的AI跑分評分體系中，占據(jù)了極大的話語權(quán)。
就目前消費者可以買到的智能手機產(chǎn)品來看，INT8在移動應(yīng)用中是最為常見的。因此，就目前的市場情況來看，INT8足以滿足目前絕大多數(shù)主流消費者的使用需求。而FP16并不適合主流消費者，并且更加耗電。
落到產(chǎn)品端，根據(jù)三家AI跑分的測試結(jié)果來看，采用高通驍龍移動平臺的智能終端，在Qualcomm人工智能引擎AI Engine的加持下，對INT8進行了很好的優(yōu)化，加之目前大部分安卓端調(diào)用AI運算的應(yīng)用均采用了高通提供的SDK，軟硬相結(jié)合的情況下，使得基于高通驍龍移動平臺打造的AI智能手機可將AI性能發(fā)揮到極致，并且，不會因此而犧牲續(xù)航，這顯然是用戶愿意看到的！
