雷軍在全國兩會(huì)期間透露，自己去年國慶假期期間成為了AI換臉視頻的“受害者”。他表示，有人利用AI技術(shù)制作了他的聲音和形象，在各種視頻中充當(dāng)“嘴替”和“臉替”。雷軍坦言，他本想通過法律途徑維權(quán)，但發(fā)現(xiàn)當(dāng)前法律體系中對(duì)此類行為缺乏專門的立法，只能依靠隱私權(quán)、肖像權(quán)和名譽(yù)權(quán)等相關(guān)法律進(jìn)行起訴，而這些法律要求量化損失，讓他深感困擾。
社交平臺(tái)上，AI生成的真人形象已屢見不鮮，且達(dá)到了以假亂真的程度。在這些“AI騙局”中，雷軍并非唯一的受害者，特別是中老年人群體，由于缺乏識(shí)別AI創(chuàng)作的能力，往往更容易上當(dāng)受騙。陸俊（化名）的奶奶就是一個(gè)典型的例子，她每天都會(huì)觀看一個(gè)AI生成的胖小孩短視頻，盡管陸俊多次提醒奶奶這是假的，但奶奶并不在意，只覺得這些視頻能讓自己開心。
這些AI賬號(hào)不僅瞄準(zhǔn)了中老年群體的情感需求，還通過套近乎、講哲理等“話術(shù)”來獲取他們的信任和關(guān)注。一些AI賬號(hào)甚至已經(jīng)開始利用這份“信任”通過櫥窗帶貨賺錢。例如，視頻號(hào)“·古元·”發(fā)布的視頻大多以“我的寶貝姐姐”開頭，圍繞老年女性的生活常態(tài)展開，隨后引導(dǎo)用戶點(diǎn)擊主頁關(guān)注、下單。雖然發(fā)布視頻數(shù)量不多，但櫥窗商品的銷量已突破三位數(shù)。
除了情感內(nèi)容，養(yǎng)生內(nèi)容也是“收割”老年人的重災(zāi)區(qū)。一些AI賬號(hào)利用老年人的同理心賣貨，甚至通過AI換臉技術(shù)進(jìn)行詐騙。據(jù)報(bào)道，去年就有一位江西老人被換臉視頻蒙蔽，要貸款200萬給網(wǎng)戀男友“靳東”拍戲。還有詐騙犯運(yùn)用Deepfake深度偽造技術(shù)制作出公司高層發(fā)言視頻，誘導(dǎo)職員轉(zhuǎn)賬。這些案例都顯示了AI技術(shù)在造假和詐騙方面的巨大威脅。
針對(duì)AI技術(shù)的濫用問題，社會(huì)各界已經(jīng)開始采取行動(dòng)。全國政協(xié)委員和科技企業(yè)領(lǐng)導(dǎo)人在兩會(huì)上提出了加強(qiáng)AI安全監(jiān)管的提議。同時(shí)，各平臺(tái)也在加強(qiáng)對(duì)AI內(nèi)容的治理，推出了針對(duì)AI治理的管理政策。例如，騰訊等互聯(lián)網(wǎng)公司正在研究檢測AIGC的第三方工具，這些工具可以根據(jù)相似檢索、內(nèi)容檢測和水印追溯等方法來檢測AI生成的內(nèi)容。
國家互聯(lián)網(wǎng)信息辦公室也發(fā)布了《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法（征求意見稿）》，以規(guī)范人工智能生成合成內(nèi)容的標(biāo)識(shí)，維護(hù)國家安全和社會(huì)公共利益。這些規(guī)定和監(jiān)管政策的落地，將為剛性治理提供更多的抓手，減少被AI蒙騙的發(fā)生。
