為進(jìn)一步梳理和調(diào)研基于生成式人工智能技術(shù)、應(yīng)用、產(chǎn)業(yè)發(fā)展現(xiàn)狀，總結(jié)和推廣優(yōu)秀成果，推動(dòng)產(chǎn)業(yè)高質(zhì)量發(fā)展。2023 年 2 月，中國(guó)信息通信研究院（以下簡(jiǎn)稱“中國(guó)信通院”）依托人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室 AI 工程化推進(jìn)委員會(huì)生成式 AI 工作組，正式啟動(dòng)了生成式 AI 技術(shù)和應(yīng)用案例征集工作。5 月 31 日下午，杭州通用人工智能論壇大模型技術(shù)應(yīng)用分論壇現(xiàn)場(chǎng)，首輪生成式 AI 技術(shù)和應(yīng)用優(yōu)秀案例評(píng)選結(jié)果正式發(fā)布，網(wǎng)易智企旗下網(wǎng)易易盾成功入選優(yōu)秀案例，并獲中國(guó)信通院頒發(fā)證書(shū)。
一、內(nèi)容風(fēng)控仍是互聯(lián)網(wǎng)安全重中之重
近年來(lái)，隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)井噴式增長(zhǎng)。文本、圖像、語(yǔ)音、視頻等多元化的內(nèi)容呈現(xiàn)形式已經(jīng)成為人們?nèi)粘９ぷ骱蜕畈豢苫蛉钡牟糠帧?nèi)容形式多元化、內(nèi)容創(chuàng)作門檻大幅降低為我們的生活帶來(lái)了極大的便捷和效率，但由此引發(fā)的內(nèi)容風(fēng)控問(wèn)題卻日益凸顯，數(shù)字內(nèi)容安全已經(jīng)成為互聯(lián)網(wǎng)安全的重中之重。
二、傳統(tǒng)內(nèi)容風(fēng)控面臨新挑戰(zhàn)
數(shù)字內(nèi)容風(fēng)控存在涉及范圍與類型廣、粒度細(xì)、對(duì)抗頻繁、需求與標(biāo)準(zhǔn)多樣等特點(diǎn)。以往數(shù)字內(nèi)容風(fēng)控往往采用“后置+定制+感知”的方式進(jìn)行識(shí)別與防護(hù)。
· 后置是指在有害類型或者數(shù)據(jù)出現(xiàn)后，再針對(duì)性的進(jìn)行解決，時(shí)效性上往 往是后置，沒(méi)有太明確的風(fēng)險(xiǎn)提前感知與防范能力。
· 定制是指有害信息類型與范圍廣泛，由于缺少可靠的通用能力，需要對(duì)不同的有害類型進(jìn)行不斷地模型定制訓(xùn)練，且每次定制都需從頭構(gòu)建專業(yè)領(lǐng)域能力，時(shí)間長(zhǎng)、成本高。
· 感知是指對(duì)有害信息的識(shí)別往往是針對(duì)性感知，只針對(duì)目標(biāo)的有害類型，沒(méi)有很好地利用場(chǎng)景內(nèi)容信息，即過(guò)往內(nèi)容風(fēng)控是感知層面識(shí)別，而非認(rèn)知層面推理。
·同時(shí)，對(duì)于有害類型的定義往往存在很多主觀、邊界、細(xì)節(jié)上的差異，頻繁 地根據(jù)標(biāo)準(zhǔn)的多樣更替適配模型，無(wú)法真正做到差異化分級(jí)分層精準(zhǔn)防護(hù)。
因此，如何提前感知與預(yù)防可能的安全風(fēng)險(xiǎn)、如何針對(duì)新出現(xiàn)的危害類型快速構(gòu)建安全防護(hù)能力、如何全面綜合場(chǎng)景信息進(jìn)行深入認(rèn)知推理、如何差異化分級(jí)分層精準(zhǔn)防護(hù)，已經(jīng)成為數(shù)字內(nèi)容安全重要的挑戰(zhàn)與難點(diǎn)。
三、AIGC 為內(nèi)容風(fēng)控帶來(lái)新思路
當(dāng)前 AIGC 的發(fā)展為提供更加通用、前置、快速響應(yīng)的數(shù)字內(nèi)容風(fēng)控能力提供了可能。基于“世界知識(shí)”注入的 AIGC，將有更廣泛的通用能力、創(chuàng)造能力、數(shù)據(jù)感知和知識(shí)融合能力。具體來(lái)說(shuō)：
· 基于其通用能力，在此基礎(chǔ)之上進(jìn)一步定制領(lǐng)域安全能力，內(nèi)容風(fēng)控的時(shí)間周期與成本將大幅縮減；
· 基于其創(chuàng)造能力，內(nèi)容風(fēng)控將提前感知與預(yù)防未知風(fēng)險(xiǎn)，將”后置”轉(zhuǎn)變?yōu)?rdquo;前置”，減少了未知有害類型的隱患；
· 基于其豐富的信息注入與融合能力，充分利用并融合場(chǎng)景、背景、知識(shí)等有害類型以外的綜合信息，將提升內(nèi)容風(fēng)控的場(chǎng)景理解與知識(shí)遷移能力，進(jìn)行更深層次認(rèn)知邏輯推理與綜合防控；
· 基于其提示上下文學(xué)習(xí)范式以及思維推理過(guò)程，內(nèi)容風(fēng)控將在不更新模型的基礎(chǔ)上更加便捷的適應(yīng)不同的標(biāo)準(zhǔn)，差異化分級(jí)分層精準(zhǔn)防控。
四、網(wǎng)易易盾：生成式 AI 技術(shù)賦能內(nèi)容風(fēng)控
基于上述思路，網(wǎng)易易盾利用生成式 AI 技術(shù)，研發(fā)了基于 AIGC 生成對(duì)抗防控、小樣本有害信息識(shí)別、細(xì)粒度自適應(yīng)識(shí)別、綜合信息邏輯推理等方案，用最強(qiáng)的矛打造最強(qiáng)的盾。具體如下：
（1）基于AIGC生成對(duì)抗防控方案
為了實(shí)現(xiàn)安全風(fēng)險(xiǎn)提前感知與預(yù)防，基于 AIGC 創(chuàng)造能力，網(wǎng)易易盾研發(fā)了基于 AIGC 生成對(duì)抗防控方案，將原有的“發(fā)現(xiàn)+布控”改進(jìn)為“發(fā)現(xiàn)+生成+布控”。該方案將生成當(dāng)前模型無(wú)法覆蓋或者識(shí)別效果差的有害類型與樣本，并以當(dāng)前主流的安全風(fēng)險(xiǎn)類型為基礎(chǔ)，進(jìn)一步通過(guò) AIGC 方法模擬安全風(fēng)險(xiǎn)變化趨勢(shì)，實(shí)現(xiàn)安全風(fēng)險(xiǎn)提前感知。進(jìn)一步的布控方法包括結(jié)合 AIGC 生成樣本進(jìn)行聯(lián)合訓(xùn)練迭代防控模型、構(gòu)建 AIGC 生成對(duì)抗庫(kù)定點(diǎn)防控等。
（2）基于AIGC小樣本有害信息識(shí)別方案
為了實(shí)現(xiàn)數(shù)字風(fēng)控能力高效快速構(gòu)建，基于 AIGC 的通用能力進(jìn)一步的研發(fā)專業(yè)領(lǐng)域能力，我們研發(fā)了基于 AIGC 小樣本有害信息識(shí)別方案。將原有的從頭構(gòu)建“通用能力+領(lǐng)域能力”方案改善為“AIGC 通用能力+通用能力補(bǔ)償+領(lǐng)域能力”構(gòu)建的步驟。通過(guò)小樣本通用能力補(bǔ)償模塊設(shè)計(jì)，以少量樣本的代價(jià)彌補(bǔ)了 AIGC 通用能力在專業(yè)場(chǎng)景應(yīng)用的差距，同時(shí)直接鏈接到領(lǐng)域能力構(gòu)建模塊。相比于從頭構(gòu)建通用能力，基于“AIGC 通用能力+通用能力補(bǔ)償”的方式更加快速、高效、低成本。
（3）基于 AIGC 細(xì)粒度自適應(yīng)識(shí)別方案
為了實(shí)現(xiàn)差異化分級(jí)分層精準(zhǔn)防控，基于 AIGC 提示上下文學(xué)習(xí)范式以及思維推理能力，我們研發(fā)了基于 AIGC 細(xì)粒度自適應(yīng)識(shí)別方案，將 AIGC 的提示學(xué)習(xí)的思想應(yīng)用到有害內(nèi)容理解解決方案中，并且通過(guò)探索將多模態(tài)提示與推理輸入與不同標(biāo)準(zhǔn)進(jìn)行對(duì)齊，使得通過(guò)不同的提示與推理輸入來(lái)映射不同的標(biāo)準(zhǔn)。例如性感這個(gè)類型，以往很難再做更細(xì)粒度的拆解，或者拆解成本很高，現(xiàn)在可以更細(xì)粒度的拆解為比如沙灘場(chǎng)景的性感與夜店場(chǎng)景的性感，從而將類型標(biāo)準(zhǔn)細(xì)化為場(chǎng)景與樣本，更好的適應(yīng)不同主觀性、不同邊界的標(biāo)準(zhǔn)，更細(xì)粒度地實(shí)現(xiàn)分級(jí)分層精準(zhǔn)防控。
（4）基于 AIGC 綜合信息邏輯推理解決方案
為了實(shí)現(xiàn)認(rèn)知邏輯推理與綜合防控，基于 AIGC 的信息注入與融合以及邏輯推理能力，我們研發(fā)了基于 AIGC 綜合信息邏輯推理解決方案。將原有的只針對(duì)有害信息的感知識(shí)別改進(jìn)為基于包括有害信息在內(nèi)的綜合信息的綜合認(rèn)知推理。有害信息以外的綜合信息以 AIGC 的方式獲取，綜合推理以視覺(jué)語(yǔ)言模型來(lái)完成。將原有的基于“領(lǐng)域能力的有害信息提取+決策”的方案改進(jìn)為基于“領(lǐng)域能力有害信息提取+基于 AIGC 的通用知識(shí)提取+基于視覺(jué)語(yǔ)言模型的信息融合與綜合邏輯決策”的方案。
五、生成式 AI 為內(nèi)容風(fēng)控帶來(lái)顯著收益
在數(shù)字內(nèi)容風(fēng)控場(chǎng)景，網(wǎng)易易盾研發(fā)并融合生成式 AI 能力，實(shí)現(xiàn)領(lǐng)域安全能力高效快速構(gòu)建、安全風(fēng)險(xiǎn)提前感知與預(yù)防、認(rèn)知推理與綜合防控、差異化分級(jí)分層精準(zhǔn)防控。相關(guān)解決方案的推出，幫助易盾從能力、數(shù)據(jù)、信息三個(gè)層面全面耦合了 AIGC 能力，并在客戶實(shí)際應(yīng)用的數(shù)字內(nèi)容風(fēng)控場(chǎng)景下，取得效果、成本、時(shí)效性、多樣性、適應(yīng)性、穩(wěn)定性等方面的顯著收益。
