近年來，伴隨著深度學習技術的成熟以及計算機算力的增長，人工智能技術在各行業的業務場景中實現了快速的普及和落地。在人工智能技術進一步落地實踐的背景下，將會為行業帶來什么樣的變革與技術創新，成為了大家共同關心的問題。
11月25至26日，以“AI商業化下的技術演進”為主要研討方向的AICon全球人工智能與機器學習技術大會北京站順利召開。據了解，AICon北京站設置了“人工智能前沿技術”、“計算機視覺實踐”、“智能金融技術與業務結合”、“認知智能的前沿探索”等14 個技術專題，并邀請了50余位行業資深專家，分享最新 AI 技術創新和應用實踐。
本次大會，騰訊優圖實驗室內容審核算法負責人鄢科受邀出席了“計算機視覺實踐”技術專題的研討，并通過《騰訊優圖在視覺內容理解領域的研究與實踐》的主題演講，分享了騰訊優圖在內容安全領域中的研究成果和應用實例，提供了技術創新和落地實踐的經驗和思路。
01 視覺內容理解在內容安全領域中的技術特點和挑戰
隨著互聯網的高速發展，網絡內容不論是呈現形式還是信息體量都迎來了爆發式的增長。而在這些增長的背后，也隱藏著海量的色情、血腥等不良和有害信息，不僅危害互聯網平臺的內容生態，更可能導致安全問題。在內容安全問題不斷加劇的背景下，AI、大數據等信息技術能夠輔助傳統人工審核，在內容安全領域中發揮了重要作用。
基于此，騰訊優圖依托在視覺AI技術上的研究成果，打造了包含涉黃、廣告、違法違規等在內的、一站式內容安全的解決方案。憑借支持一體化接入、需求定制化、詳實的標簽體系和自動化訓練平臺等優勢，該解決方案能夠在社區、UGC、直播、點播等場景中輔助人審，從而提高內容安全審核的效率。
而在推動視覺AI技術落地業務場景的過程中，騰訊優圖也歸納和總結了視覺內容理解的技術特點和挑戰：
首先，內容安全審核被廣泛應用在海內外不同國家的各個行業和業務之中，不同業務的審核場景千差萬別；以游戲直播場景為例，該場景一般是二次元模態的游戲畫面，但由于海外手機的像素質量和國內不一樣，很多都是一些模糊不清低質圖像，場景多樣嚴重考驗AI算法的穩定性和泛化能力。
其次，針對于同一個內容，不同客戶的標準定義差別很大，針對客戶需求制定能夠實現全覆蓋的標簽和標準體系，對技術完備提出了較高的要求。
最后，多樣化的內容審核場景也要求方案具備多標簽識別、目標檢測、畫面細粒度、OCR等技術，無法通過一個簡單的技術點或是通用模型解決所有問題，對模型能力的精細化和快速優化也提出了較高的要求。
02 騰訊優圖實驗室在視覺內容理解場景的主要研究方向
目前，騰訊優圖在內容安全領域主要的研究方向主要包括細粒度識別、多標簽識別、目標檢測、目標定位、對象供給、圖像描述等六個方向。
1）目標檢測：目標檢測在內容理解領域中非常重要，包含通用物體檢測、特殊場景/商品檢測、遙感圖象、旋轉目標檢測等技術方向。其中，騰訊優圖在旋轉目標檢測進行了深入研究，提出了DRN（動態修正網絡）來提升檢測效果的方法。
通過在FSM（特征選擇模塊）中設計自適應感受調整模塊的方式，模型能夠根據目標的形狀旋轉角度進行自適應調整，從而緩解單一感受點與多目標的矛盾。
此外，針對分類和回歸任務，騰訊優圖設計了DRHC（動態修正分類器）與DRHR（動態修正回歸器），讓模型能夠同時學習樣本敏感和fintune之外的、與樣本無關的一般性知識，并通過預訓練的方式賦予模型樣本一致性調整的能力。
最后，統一的DRN能夠讓模型通過端到端的方式學習旋轉目標檢測任務，同時基于AnchorFree算法，DRN也能對解決密集排列目標場景下的目標重合、混淆的問題進行較好的處理。
2）目標定位：人、車、物的檢測工作所要求的標準檢測的框和目標標注的成本都很高，而在細分場景檢測時需要標注的比較精細，從而提升了標注的難度和成本。為了提高標注的效率并降低成本，騰訊優圖在弱監督和定位方面進行深入研究，并提出了目標結構保持是弱監督定位關鍵問題的觀點。
大多數弱監督目標檢測主要是依據分類網絡輸出響應、空間正則約束來入手，通過提取一系列提升網絡的響應區域去覆蓋目標更多區域的。這種方法一般都會采用分類結構，而這樣做則會讓模型丟失目標結構信息；同時，無限制的類別響應特征圖往往會出現局部提高響應導致模型分類出現一些誤判，不利于模型準確定位到目標的位置。
為解決以上問題，騰訊優圖首先設定了受限激活模塊緩解模型結構信息的損失問題，并重新定義了高階相似性，使自相關圖生成模塊顯著提高了目標定位的精度；之后，通過計算每個特征位置在類別相應性質圖上的方差分布得出粗略的偽mask，以此來區分前背景；然后對類別響應特征圖進行歸一化，利用提出來的受限激活損失函數來引導模型關注目標前景的區域，組成受限激活模塊；最后利用受限激活模塊進行訓練，在前向inference推理的過程中，高階自相關圖就會增強圖片的表達和后處理，讓可視化圖更加清晰、定位更加準確。
3）多標簽識別：多標簽識別是內容理解和內容審核的場景中非常通用的技術問題。之前很多技術都是采用RNN或者GCN來網絡結構來處理標簽之間的共性依賴問題，這種方法沒有考慮到標簽共性依賴，導致系統無法有效分辨出標簽及臨近標簽之間的關系，大大降低了圖片識別的準確度。
為此，騰訊優圖提出了“除共性依賴以外，空間依賴也是理想多標簽預設的重要因素”這一觀點，在考慮共性依賴的基礎上引入了空間依賴的建模，通過構建一種基于Transfomer的雙目互補關系學習框架，讓模型同時學習空間依賴和共性依賴。具體而言，即在空間依賴上使用跨尺度的Transfomer建模，對CNN提取到的一些特征經過跨尺度增強后得到空間信息更加清晰的圖像特征，然后利用共享權重的Transfomer群來建模空間，在建模過程中的空間依賴則根據空間關聯提升類別響應。
針對于共性依賴只需要進行內別、感知約束和空間關聯引導，基于圖神經網絡聯合GCA，聯合建模動態語義關聯，最后整合兩種互補關系進行協同學習得到給魯棒的多變性預測，進一步提升圖片識別的準確性。
此外，通過標簽的value來為圖像標簽引入文本語義信息的方式，用圖像標簽做表征的方法也能取得很好的效果：將視覺的fintune和文本fintune直接用Transfomer建模，能夠讓多模態融合多標簽的識別方法，相較于純標簽的語義信息的效果有著顯著提升。
4）細粒度識別：過往的細粒度識別主要是使用通道間高階特征獲取可區別性的表達，但這種做法一般都會忽略空間位置關系的和不同語義之間的相互關系，在復雜背景或內間距比較小的場景中誤判的情況較多。基于此類問題，騰訊優圖曾提出了通過挖掘特征間的空間關系和語義關系來建模高階關系，再對其中一些相似關系進行合并、保留區別性高的特征的解決方案。
相較于三元的線性關系建模，該方案的關系模塊能夠在考慮空間關聯的基礎上，構建更加豐富的語義關聯；同時，通過圖神經網絡學習高階特征中圖層不同節點間的關系，并根據關系的三元規則對高階關系進行分組加權，在對相似特征進行合并后，能夠在實現降維的同時保證比較高的特征；最后，在訓練過程中采取類別均衡采樣策略學習，來確保特征分布更加準確。
然后這樣的解決方案還是存在時間消耗過多和因深層擾動導致工作效果不穩定的問題。對此騰訊優圖提出了利用顯著性區域的對抗自動編碼器生成噪音的解決方法，讓時效性問題和對抗生成網絡不穩定的問題同時得到了解決，在不同數據集的識別上都能取得比較好的識別效果。
03 騰訊優圖視覺內容理解的實際應用案例
目前，騰訊優圖視覺內容理解的實際應用場景包括ACG敏感內容識別和圖像情感傾向分析等多類。
1）ACG敏感內容識別：在內容安全領域中，由于ACG場景中多種風格之間的差異化較大，導致通用模型在動畫、漫畫和游戲領域中的內容識別能力相對較弱，容易出現大量的誤判。為解決此類問題，騰訊優圖首先在統計原域和目標域間的特征分布后，使用MMD來縮短兩個特征分布間的距離，實現分布約束；然后通過漸進式學習策略讓模型在遷徙過程中優先選擇與原域相近的樣本，有效降低了模型遷徙的難度；最后通過半監督實現了通用模型的迅速迭代，生成針對ACG場景識別的專用審核模型。
在實際應用中，使用了漸進式學習策略的專用審核模型相較于直接遷徙的模型，召回率至少提升了17%~30%，極大程度上提升了ACG內容審核工作的效率和效果。
2）圖像情感傾向分析：現階段的內容審核工作中，審核系統對于出現人民幣、暴力等敏感元素的圖片都會做召回處理。但實際場景中，大量出現人民幣元素的圖片是正常的，這無形中為人審環節增加了很多工作負擔。
為此，騰訊優圖提出了圖像情感傾向分析和一般的傾向分類，模擬人的主觀感覺對圖像進行識別和分析，如果一張圖中出現了大量人民幣和一個人，并且這個人表現出開心的狀態，那么這張圖的情感傾向就是正向的，無需召回；但如果一張圖中出現了惡搞人民幣的場景，那么這張圖的情感傾向就是負向的，需要召回并進行再審核。
