近期，中國金融認(rèn)證權(quán)威機(jī)構(gòu)中金金融認(rèn)證中心（CFCA）攜手中國銀聯(lián)云計算中心，針對人工智能（AI）安全領(lǐng)域開展了一項前沿性研究。這項研究揭示了聯(lián)網(wǎng)AI助手在使用中可能潛藏的新型安全漏洞，對用戶信息保護(hù)及業(yè)務(wù)系統(tǒng)的安全性構(gòu)成潛在風(fēng)險。
研究顯示，當(dāng)AI大模型助手開啟聯(lián)網(wǎng)搜索功能后，在特定情境下，可能會向用戶返回含有隱蔽惡意代碼的信息。這些惡意代碼如同“暗雷”，在用戶不經(jīng)意間觸發(fā)，可能導(dǎo)致信息泄露或系統(tǒng)受損。CFCA因此向廣大用戶，特別是軟件開發(fā)者發(fā)出了安全預(yù)警，提醒大家在使用AI助手時保持高度警覺。
具體而言，攻擊者會事先在特定領(lǐng)域“布雷”，即構(gòu)造含有隱蔽內(nèi)容的惡意信息。一旦用戶向AI助手提出與這些內(nèi)容相關(guān)的問題，AI助手可能會在無意識的情況下返回包含惡意指令或代碼的回答。這些代碼能夠誘導(dǎo)用戶下載并執(zhí)行病毒程序，特別是在AI用于代碼生成、系統(tǒng)命令操作等高風(fēng)險場景中，其威脅尤為顯著。值得注意的是，盡管此次研究僅停留在技術(shù)驗證階段，未實際傳播病毒或影響真實用戶，但已充分表明聯(lián)網(wǎng)AI助手普遍存在此類安全隱患。
CFCA特別強(qiáng)調(diào)，用戶在使用AI助手處理代碼編寫、執(zhí)行系統(tǒng)命令等敏感任務(wù)時，應(yīng)進(jìn)行人工復(fù)核，避免過度依賴AI生成的內(nèi)容，從而防范潛在的安全風(fēng)險。
近年來，AI技術(shù)的飛速發(fā)展，特別是在輔助代碼編寫、提升開發(fā)效率方面，展現(xiàn)了巨大的潛力。然而，開發(fā)者在享受AI帶來的便捷與高效的同時，也必須堅守軟件工程的基本原則。需求分析、設(shè)計、編碼、代碼審查、測試以及安全評估等環(huán)節(jié)，在AI輔助開發(fā)的新時代不僅不應(yīng)被忽視，反而應(yīng)當(dāng)?shù)玫竭M(jìn)一步加強(qiáng)。
CFCA指出，嚴(yán)謹(jǐn)?shù)男枨蠓治?、?xì)致的設(shè)計規(guī)劃、規(guī)范的編碼實踐、嚴(yán)格的代碼審查流程、充分的單元測試與集成測試，以及持續(xù)的安全評估，這些軟件工程的基石，在AI技術(shù)的浪潮中仍然至關(guān)重要。開發(fā)者應(yīng)當(dāng)在擁抱AI的同時，繼續(xù)堅持并強(qiáng)化這些科學(xué)方法與原則，以確保軟件系統(tǒng)的安全性與可靠性。
研究團(tuán)隊還建議，AI助手的開發(fā)者應(yīng)加強(qiáng)對返回內(nèi)容的監(jiān)控與過濾，采用先進(jìn)的安全技術(shù)，如深度學(xué)習(xí)模型檢測惡意代碼，以及建立應(yīng)急響應(yīng)機(jī)制，以應(yīng)對潛在的安全威脅。
總之，隨著AI技術(shù)的廣泛應(yīng)用，其安全性問題日益凸顯。CFCA與中國銀聯(lián)云計算中心的這項研究，為行業(yè)提供了寶貴的警示，提醒廣大用戶在享受AI帶來的便利時，務(wù)必保持警惕，加強(qiáng)安全防護(hù)。
