信息時(shí)代的寵兒——基于隱私計(jì)算的機(jī)器學(xué)習(xí)平臺(tái)
數(shù)據(jù)作為機(jī)器學(xué)習(xí)的“燃料”，蘊(yùn)涵了豐富的信息要素和巨大的經(jīng)濟(jì)價(jià)值。近年來(lái)，包括中國(guó)在內(nèi)的全球各國(guó)都愈來(lái)愈重視數(shù)據(jù)安全市場(chǎng)的重要性，如：早在2020年4月9日，中國(guó)政府就公布了《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》。而隱私計(jì)算作為促進(jìn)數(shù)據(jù)要素于規(guī)范化管理下安全流通的“橋梁技術(shù)”，并逐步開(kāi)始應(yīng)用于以“機(jī)器學(xué)習(xí)平臺(tái)”為代表的核心數(shù)據(jù)要素市場(chǎng)產(chǎn)品，涌現(xiàn)出包括藍(lán)象智聯(lián)GAIA在內(nèi)的多個(gè)以隱私計(jì)算為核心引擎的機(jī)器學(xué)習(xí)平臺(tái)產(chǎn)品。專(zhuān)業(yè)機(jī)構(gòu)預(yù)計(jì)，國(guó)內(nèi)該類(lèi)隱私計(jì)算市場(chǎng)規(guī)模有望超過(guò)千億。
區(qū)別于傳統(tǒng)機(jī)器學(xué)習(xí)平臺(tái)，以隱私計(jì)算為核心引擎的機(jī)器學(xué)習(xí)平臺(tái)具有以下顯著特征：
“數(shù)據(jù)可用而不可見(jiàn)”：在包括聯(lián)邦學(xué)習(xí)、密態(tài)機(jī)器學(xué)習(xí)在內(nèi)的隱私計(jì)算技術(shù)加持下，平臺(tái)內(nèi)數(shù)據(jù)不會(huì)再直接暴露給平臺(tái)用戶，平臺(tái)用戶僅能通過(guò)預(yù)置接口在授權(quán)后使用數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型；
“模型可用而不可見(jiàn)”：隨著“燃料”的價(jià)值被發(fā)現(xiàn)被挖掘，其衍生品——機(jī)器學(xué)習(xí)模型所具備的商業(yè)價(jià)值也必將隨之被重新定義，新興的平臺(tái)用戶不僅可以單純地使數(shù)據(jù)安全的流通，亦可通過(guò)“模型”的形式安全達(dá)成數(shù)據(jù)價(jià)值再創(chuàng)造與價(jià)值傳遞。過(guò)程中，保證雙方達(dá)到“數(shù)據(jù)的可用不可見(jiàn)”，亦滿足“模型的可用不可見(jiàn)”。
由于“不可見(jiàn)”的安全需求和獨(dú)特應(yīng)用場(chǎng)景，隱私計(jì)算加持的機(jī)器學(xué)習(xí)平臺(tái)將面臨除常見(jiàn)的DDoS等系統(tǒng)攻擊以外針對(duì)數(shù)據(jù)、模型安全的更多樣的攻擊方式。隨之而生的就是我們需要構(gòu)建更強(qiáng)的“盾”來(lái)應(yīng)對(duì)新興的攻擊之“矛”進(jìn)行防御。如何體系化地梳理新興的攻擊手段，并針對(duì)性地提供防御策略，建立隱私計(jì)算下機(jī)器學(xué)習(xí)平臺(tái)的“安全軍備庫(kù)”，是本文所論述的重點(diǎn)。
針對(duì)隱私計(jì)算下機(jī)器學(xué)習(xí)平臺(tái)的“矛”
雖然隱私計(jì)算技術(shù)通過(guò)數(shù)據(jù)“不可見(jiàn)”實(shí)現(xiàn)了數(shù)據(jù)安全的保護(hù)，但正因?yàn)?ldquo;不可見(jiàn)”，也為攻擊者留下一定的“藏污納垢”的空間，這里我們分別從數(shù)據(jù)安全和模型安全的角度，分別討論幾類(lèi)常見(jiàn)的攻擊。
首先是針對(duì)數(shù)據(jù)安全的攻擊，這里我們所指的破壞數(shù)據(jù)安全的攻擊是一個(gè)廣義的概念，不僅指造成數(shù)據(jù)隱私的泄漏的攻擊，也包括了通過(guò)污染數(shù)據(jù)達(dá)成攻擊目的的方式。具體來(lái)說(shuō)，這類(lèi)攻擊包含：
數(shù)據(jù)重構(gòu)。對(duì)于隱私保護(hù)的機(jī)器學(xué)習(xí)模型構(gòu)建，最為常用的一類(lèi)技術(shù)即是由Google于2016年首次提出的聯(lián)邦學(xué)習(xí)技術(shù)。該技術(shù)通過(guò)傳遞梯度的方式，避免了直接的明文數(shù)據(jù)傳遞，實(shí)現(xiàn)了數(shù)據(jù)隱私保護(hù)多方聯(lián)合建模。但國(guó)內(nèi)外研究表明，梯度并不是一個(gè)有效的安全載體，攻擊者可以偽裝成合法的聯(lián)邦學(xué)習(xí)參與者，并在獲取到明文梯度后可以僅付出少量的計(jì)算成本就反推出用來(lái)計(jì)算梯度的原始數(shù)據(jù)。
數(shù)據(jù)下毒。由于建模數(shù)據(jù)多由他人提供且數(shù)據(jù)“不可見(jiàn)”，隱私計(jì)算下的機(jī)器學(xué)習(xí)平臺(tái)通常缺乏有效的機(jī)制對(duì)數(shù)據(jù)進(jìn)行過(guò)濾與清洗，從而令攻擊者可以通過(guò)簡(jiǎn)單的標(biāo)簽反轉(zhuǎn)、模型替換、數(shù)據(jù)篡改等方式，來(lái)抑制模型的收斂、降低模型的性能甚至控制模型對(duì)特定輸入的響應(yīng)模式。
模型后門(mén)注入。又稱(chēng)“特洛伊木馬”攻擊，與數(shù)據(jù)下毒類(lèi)似，攻擊者利用數(shù)據(jù)“不可見(jiàn)”的特性，通過(guò)篡改原始數(shù)據(jù)的方式，讓模型記住特定“觸發(fā)器”的分布特性，使訓(xùn)練得到的模型在面對(duì)攜帶觸發(fā)器的輸入數(shù)據(jù)時(shí)，給出攻擊者所期待的輸出。
無(wú)意識(shí)記憶。Google于一篇研究報(bào)告中指出，在多方聯(lián)合建模時(shí)，參與者常常會(huì)把一些分布外又無(wú)助于模型性能提升的隱私數(shù)據(jù)于無(wú)意間加入到訓(xùn)練當(dāng)中，這類(lèi)數(shù)據(jù)會(huì)于神經(jīng)元中引入一類(lèi)被稱(chēng)之為“無(wú)意識(shí)記憶”的漏洞。攻擊者可以利用最短路徑搜算算法，快速?gòu)?fù)原出構(gòu)成無(wú)意識(shí)記憶的隱私數(shù)據(jù)。
其次是針對(duì)模型安全的攻擊，通常這類(lèi)攻擊會(huì)通過(guò)欺騙模型或破壞模型隱私的方式，威脅機(jī)器學(xué)習(xí)模型服務(wù)安全。此外，這類(lèi)攻擊通常在傳統(tǒng)的機(jī)器學(xué)習(xí)平臺(tái)中也極為常見(jiàn)，但由于隱私計(jì)算下的機(jī)器學(xué)習(xí)平臺(tái)數(shù)據(jù)和模型“不可見(jiàn)”的特性，該類(lèi)攻擊對(duì)其威脅更為嚴(yán)重，如：
模型偷取。又稱(chēng)模型提取攻擊。以金融領(lǐng)域?yàn)槔Ｐ妥鳛殂y行等金融機(jī)構(gòu)的核心資產(chǎn)，具有極高的商業(yè)價(jià)值。這類(lèi)攻擊允許攻擊者通過(guò)構(gòu)造特定訪問(wèn)樣本 ，在不具備或僅具備少量數(shù)據(jù)的情況下，復(fù)制一個(gè)與目標(biāo)模型性能相仿的模型，極大的威脅公司的核心資產(chǎn)安全。
惡意樣本。通過(guò)合成的惡意樣本，攻擊者欺騙模型作出特定的響應(yīng)。以預(yù)授信場(chǎng)景為例，惡意用戶可以通過(guò)修改其部分預(yù)授信信息，欺騙模型作出錯(cuò)誤的判斷，損害公司利益。于隱私保護(hù)下機(jī)器學(xué)習(xí)平臺(tái)服務(wù)中，由于數(shù)據(jù)被加密，這類(lèi)攻擊尤其難以檢測(cè)。
成員推斷。成員推理是一類(lèi)可以通過(guò)模型輸出的后驗(yàn)概率檢測(cè)建模所使用數(shù)據(jù)的攻擊。這類(lèi)攻擊對(duì)醫(yī)療場(chǎng)景下的機(jī)器學(xué)習(xí)應(yīng)用下的用戶隱私造成尤為嚴(yán)重的安全威脅，攻擊者在隱私計(jì)算技術(shù)的保護(hù)下，隱蔽地獲取任意個(gè)體是否于某家醫(yī)院參與治療或是否患病等十分私密的個(gè)人信息。
模型更新推理。對(duì)于一般的模型服務(wù)場(chǎng)景，經(jīng)常需要定期的更新模型以匹配最新的業(yè)務(wù)場(chǎng)景特性。德國(guó)研究機(jī)構(gòu)CISPA的研究表明，攻擊者可以利用模型更新后帶來(lái)的后驗(yàn)概率輸出上的前后差異，推理出用來(lái)更新模型的原始數(shù)據(jù)。
戍衛(wèi)以隱私計(jì)算為基礎(chǔ)的機(jī)器學(xué)習(xí)平臺(tái)的“盾”
機(jī)器學(xué)習(xí)平臺(tái)作為人工智能技術(shù)應(yīng)用最為集中的一類(lèi)載體，其安全防護(hù)越來(lái)越受到包括政府機(jī)構(gòu)在內(nèi)的社會(huì)各界人士的重視。哈佛大學(xué)的《人工智能與國(guó)家安全》報(bào)告中就曾指出人工智能的安全將通過(guò)變革軍事優(yōu)勢(shì)、信息優(yōu)勢(shì)和經(jīng)濟(jì)優(yōu)勢(shì)直接影響公司資產(chǎn)乃至國(guó)家資產(chǎn)安全。俄羅斯普京總統(tǒng)更是直言“誰(shuí)成為這個(gè)領(lǐng)域的領(lǐng)導(dǎo)者，誰(shuí)就將成為這個(gè)行業(yè)的領(lǐng)導(dǎo)者”。
但是，在安全領(lǐng)域，一個(gè)公認(rèn)的事實(shí)是，相較于用來(lái)攻擊的“矛”，用來(lái)防御的“盾”更加難以設(shè)計(jì)。一個(gè)好的“盾”不僅要綜合各方面信息來(lái)制定完備的防御策略，還要滿足快速識(shí)別、快速響應(yīng)、快速迭代等特性以滿足實(shí)際應(yīng)用需求。尤其對(duì)于以隱私計(jì)算為核心的機(jī)器學(xué)習(xí)平臺(tái)這一新軟件產(chǎn)品/行業(yè)應(yīng)用，其安全防護(hù)更具挑戰(zhàn)。為此，藍(lán)象智聯(lián)作為一家隱私計(jì)算技術(shù)的頭部公司，綜合各類(lèi)常見(jiàn)威脅機(jī)器學(xué)習(xí)平臺(tái)下數(shù)據(jù)、模型安全的各類(lèi)攻擊的特點(diǎn)，提出一個(gè)完備的隱私計(jì)算機(jī)器學(xué)習(xí)平臺(tái)產(chǎn)品在防御策略上應(yīng)至少具備的能力框架：
數(shù)據(jù)安全防御方面。針對(duì)數(shù)據(jù)生命周期，需要對(duì)應(yīng)數(shù)據(jù)使用前與使用中，分別制定對(duì)應(yīng)防御策略。
使用前——數(shù)據(jù)清洗與過(guò)濾。平臺(tái)應(yīng)提供相應(yīng)的工具，在數(shù)據(jù)資產(chǎn)發(fā)布時(shí)由平臺(tái)提供方或第三方，對(duì)數(shù)據(jù)進(jìn)行清洗和檢測(cè)，對(duì)下毒數(shù)據(jù)、木馬數(shù)據(jù)等惡意數(shù)據(jù)進(jìn)行示警，在數(shù)據(jù)通過(guò)隱私計(jì)算技術(shù)加密前，就從源頭上控制其可能帶來(lái)帶來(lái)潛在的風(fēng)險(xiǎn)。
使用中——強(qiáng)化隱私計(jì)算應(yīng)用。平臺(tái)應(yīng)杜絕對(duì)非可證明安全的數(shù)據(jù)形式變換方式的依賴(lài)，避免“梯度裸奔”等現(xiàn)象的出現(xiàn)。針對(duì)包括模型梯度、嵌入向量等任何敏感信息出域，都必須借助同態(tài)加密、秘密共享等經(jīng)過(guò)學(xué)術(shù)界和專(zhuān)業(yè)機(jī)構(gòu)驗(yàn)證的隱私計(jì)算在符合國(guó)家標(biāo)準(zhǔn)的安全強(qiáng)度下予以保護(hù)。在特定模型場(chǎng)景下，還應(yīng)保證所使用算法能夠提供可驗(yàn)證計(jì)算能力，防止攻擊者于隱私計(jì)算過(guò)程中篡改數(shù)據(jù)。
在模型安全方面。除借助上述數(shù)據(jù)安全保護(hù)策略外，還應(yīng)于模型部署前和部署后提供如下防御。
部署前——模型檢測(cè)。平臺(tái)應(yīng)提供模型安全檢測(cè)工具，對(duì)所有待部署模型進(jìn)行檢測(cè)，判斷是否存在惡意后門(mén)。當(dāng)發(fā)現(xiàn)后門(mén)后，除對(duì)用戶進(jìn)行報(bào)警外，亦可選擇性地通過(guò)模型遺忘、模型蒸餾等方式提供模型后門(mén)清洗在內(nèi)的善后能力。
部署后——訪問(wèn)控制。上述攻擊的一大特點(diǎn)在于，都需要通過(guò)構(gòu)造大量合法或非合法的訪問(wèn)來(lái)獲取模型相關(guān)的額外信息，以輔助攻擊者發(fā)起攻擊。因此，一種最為簡(jiǎn)單有效的防御策略就是基于訪問(wèn)控制來(lái)拒絕越界訪問(wèn)、陌生IP訪問(wèn)、非授權(quán)訪問(wèn)等非法訪問(wèn)，限制部分用戶的訪問(wèn)頻次，這可以極大地增加攻擊的攻擊成本。
此外，平臺(tái)應(yīng)具備對(duì)數(shù)據(jù)和模型的訪問(wèn)、使用、授權(quán)等系統(tǒng)日志的記錄與審計(jì)能力。當(dāng)平臺(tái)受到攻擊后，能夠?qū)舭l(fā)起方的惡意行為采集證據(jù)以供法律追責(zé)之用。
結(jié)語(yǔ)
基于隱私計(jì)算為核心的機(jī)器學(xué)習(xí)平臺(tái)產(chǎn)品作為全民隱私意識(shí)覺(jué)醒時(shí)代下的新生兒，正逐漸被各行各業(yè)所接受并快速成長(zhǎng)。針對(duì)其產(chǎn)生的一系列攻擊與防御方法的研究與應(yīng)用不僅影響到了企業(yè)間的核心數(shù)據(jù)資產(chǎn)安全與該行業(yè)未來(lái)發(fā)展的走向，對(duì)國(guó)家安全層面也極具重大戰(zhàn)略意義。藍(lán)象智聯(lián)公司提出了針對(duì)常見(jiàn)攻擊類(lèi)型的完備性防御策略基礎(chǔ)能力框架，未來(lái)也將加深與同業(yè)、高校間的交流與合作，共同推動(dòng)隱私計(jì)算機(jī)器學(xué)習(xí)平臺(tái)安全防御基礎(chǔ)能力框架的升級(jí)以及相應(yīng)標(biāo)準(zhǔn)的建立，切實(shí)保護(hù)用戶數(shù)據(jù)隱私與企業(yè)數(shù)據(jù)模型的安全。
