《中國(guó)經(jīng)濟(jì)周刊》見(jiàn)習(xí)記者 鄭雪 | 北京報(bào)道

以ChatGPT為代表的生成式AI快速發(fā)展，掀起了全球人工智能產(chǎn)業(yè)發(fā)展的又一波熱潮。但AI技術(shù)在不斷進(jìn)步的同時(shí)，也帶來(lái)了更多安全挑戰(zhàn)。

當(dāng)人們享受著AI所帶來(lái)的全新體驗(yàn)，犯罪分子也在借助AI技術(shù)“更新”犯罪手段，比如利用AI換臉進(jìn)行詐騙。在受騙者看來(lái)，以視頻方式借錢(qián)的另一方是“朋友”，殊不知這位“朋友”卻有可能是被AI換臉和擬聲的陌生人。傳統(tǒng)的“眼見(jiàn)為實(shí)”正在面臨巨大挑戰(zhàn)。

不僅如此，近日，有外國(guó)媒體報(bào)道稱(chēng)，東南亞犯罪集團(tuán)在“殺豬盤(pán)”詐騙中使用了生成式AI，這讓受騙者范圍擴(kuò)大，相關(guān)欺騙話(huà)術(shù)也更具有說(shuō)服力。

一個(gè)更加現(xiàn)實(shí)的問(wèn)題擺在眼前：當(dāng)詐騙與AI技術(shù)結(jié)合，面對(duì)紛繁復(fù)雜的騙術(shù)，公眾又該如何應(yīng)對(duì)？

AI詐騙新套路不斷

今年上半年，中國(guó)香港警方披露了一起AI“換臉”詐騙案件。一家跨國(guó)公司香港分部的職工受邀參加總部首席財(cái)務(wù)官發(fā)起的視頻會(huì)議，同時(shí)還有數(shù)名財(cái)務(wù)人員參會(huì)。該香港公司職工按照要求共計(jì)轉(zhuǎn)出2億港元，其后，向總部核實(shí)后才知受騙。

AI換臉詐騙容易成功的一個(gè)重要原因是，“眼見(jiàn)為實(shí)”的常識(shí)被挑戰(zhàn)。此案中，據(jù)警方調(diào)查，所謂的視頻會(huì)議，只有受害人一個(gè)人是“真人”，其他“參會(huì)人員”都是經(jīng)過(guò)AI換臉后的詐騙人員。

國(guó)投智能首席科學(xué)家江漢祥向《中國(guó)經(jīng)濟(jì)周刊》記者分析，該案例中，財(cái)務(wù)人員受騙主要存在兩種可能性：

一是犯罪分子盜用了集團(tuán)高管的內(nèi)部工作賬號(hào)。內(nèi)部工作賬號(hào)存有大量企業(yè)職工信息，在AI換臉技術(shù)輔助之下，犯罪分子利用掌握的企業(yè)信息便可非常順利地實(shí)施詐騙，財(cái)務(wù)人員很難防范。

二是財(cái)務(wù)人員收到了以短信方式通知的信息，被要求參與網(wǎng)絡(luò)視頻會(huì)議。這種騙局可識(shí)別環(huán)節(jié)較多，此時(shí)財(cái)務(wù)人員要主動(dòng)識(shí)別、判斷信息真?zhèn)?，以避免后續(xù)事件發(fā)生。

AI換臉與深度合成技術(shù)緊密相關(guān)。深度合成技術(shù)是指利用深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等生成合成類(lèi)算法制作文本、圖像、音頻、視頻、虛擬場(chǎng)景等網(wǎng)絡(luò)信息的技術(shù)。

一方面，深度合成技術(shù)被廣泛應(yīng)用于影視、娛樂(lè)、教育等領(lǐng)域，如數(shù)字虛擬人、數(shù)字試穿。另一方面，該技術(shù)也可能被不法分子用于深度偽造，如用于詐騙、色情等違法犯罪行為，帶來(lái)諸多風(fēng)險(xiǎn)和隱患。

值得注意的是，當(dāng)下大熱的生成式AI也被用于電信網(wǎng)絡(luò)詐騙。澳大利亞廣播公司報(bào)道稱(chēng)，東南亞的犯罪集團(tuán)在“殺豬盤(pán)”中使用了生成式AI。犯罪分子利用大語(yǔ)言模型或聊天機(jī)器人，用不同語(yǔ)言向受害者發(fā)送消息，擴(kuò)大騙局影響范圍。此外，犯罪分子利用生成式AI使對(duì)話(huà)更有說(shuō)服力，減少與受害者互動(dòng)的工作量。

所幸，一些AI企業(yè)設(shè)置了安全護(hù)欄，以防止大模型被用于非法活動(dòng)。此外，犯罪集團(tuán)對(duì)于人工智能的使用尚未非常熟練。外媒稱(chēng)，有詐騙分子給“殺豬盤(pán)”的潛在目標(biāo)發(fā)送消息，卻意外透露該消息由大模型生成：“非常感謝您的善意之言！‘我’作為一個(gè)語(yǔ)言模型，沒(méi)有像人類(lèi)那樣的感覺(jué)或情緒……”

防范與監(jiān)管都面臨新挑戰(zhàn)

當(dāng)下，AI和電信網(wǎng)絡(luò)詐騙被動(dòng)結(jié)合。新的詐騙方式之下，人們?cè)撊绾畏婪叮?/p>

江漢祥特別提示，虛擬環(huán)境下一旦涉及財(cái)產(chǎn)交易，絕對(duì)不能輕信，要養(yǎng)成線下主動(dòng)打電話(huà)和對(duì)方二次確認(rèn)的習(xí)慣，這是防止受騙的關(guān)鍵。

“面對(duì)這些突破‘眼見(jiàn)為實(shí)’的AI詐騙，人們更需要強(qiáng)化反詐意識(shí)。”北京航空航天大學(xué)法學(xué)院副教授趙精武在接受《中國(guó)經(jīng)濟(jì)周刊》記者采訪時(shí)表示。在他看來(lái)，詐騙行為最核心的目的是騙取錢(qián)財(cái)，故而在涉及資金轉(zhuǎn)賬、財(cái)務(wù)往來(lái)時(shí)，需慎重核對(duì)轉(zhuǎn)賬目標(biāo)的真實(shí)性。

法律法規(guī)層面，《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（以下簡(jiǎn)稱(chēng)《管理規(guī)定》）對(duì)于深度合成服務(wù)提供者的安全管理義務(wù)提出了相關(guān)要求。

“《管理規(guī)定》等法律法規(guī)也明確了深度合成服務(wù)提供者的信息安全主體責(zé)任，以便在發(fā)生違法犯罪活動(dòng)時(shí)，能夠輔助定位相應(yīng)的行為主體身份。”趙精武說(shuō)道。

在AI詐騙整個(gè)鏈條中，技術(shù)不可或缺。那么，AI工具的研發(fā)人員或機(jī)構(gòu)是否要為詐騙負(fù)責(zé)？

趙精武表示，如果AI研發(fā)者主動(dòng)向罪犯提供AI技術(shù)工具，具有共同的犯罪意圖，需與罪犯共同承擔(dān)刑事責(zé)任。若AI研發(fā)者對(duì)于罪犯的詐騙行為完全不知情，且也履行了必要的注意義務(wù)，那么僅由罪犯承擔(dān)相應(yīng)刑事責(zé)任。AI研發(fā)者不對(duì)自己無(wú)法控制、無(wú)法預(yù)見(jiàn)的AI詐騙活動(dòng)與罪犯共同承擔(dān)刑事責(zé)任。

綜合梳理來(lái)看，針對(duì)詐騙案件中技術(shù)提供方的法律責(zé)任劃定，已有相關(guān)實(shí)踐案例。2023年11月，最高人民檢察院發(fā)布檢察機(jī)關(guān)依法懲治電信網(wǎng)絡(luò)詐騙及其關(guān)聯(lián)犯罪典型案例，其中案例六——李某等人詐騙、侵犯公民個(gè)人信息、掩飾、隱瞞犯罪所得案便對(duì)上述問(wèn)題予以回應(yīng)。該案例中，李某幫助詐騙團(tuán)伙做網(wǎng)絡(luò)貸款推廣，其按照詐騙團(tuán)伙要求編寫(xiě)自動(dòng)應(yīng)答話(huà)術(shù)并錄入應(yīng)答語(yǔ)音，利用“AI”語(yǔ)音機(jī)器人自動(dòng)撥打電話(huà)形成語(yǔ)音和文本通話(huà)記錄。

此案依法嚴(yán)懲了打著“技術(shù)中立”幌子的犯罪活動(dòng)。最高人民檢察院表示，對(duì)打著“技術(shù)中立”幌子為犯罪團(tuán)伙開(kāi)發(fā)軟件或提供其他技術(shù)支持的，應(yīng)當(dāng)依法嚴(yán)懲；符合詐騙罪構(gòu)成的，依法以詐騙罪共犯論處。

“AI技術(shù)作為典型的信息技術(shù)工具，不可能因其存在的濫用風(fēng)險(xiǎn)而被禁止發(fā)展?！壁w精武說(shuō)道。在他看來(lái)，為了平衡技術(shù)創(chuàng)新和技術(shù)安全，各國(guó)在國(guó)內(nèi)法層面越發(fā)側(cè)重研發(fā)者、服務(wù)提供者的法定義務(wù)，明確這些責(zé)任主體應(yīng)當(dāng)采取必要的管理措施、技術(shù)手段阻攔生成違法犯罪信息。此外，鑒于AI技術(shù)的更新迭代，各國(guó)也開(kāi)始在AI治理中適用科技倫理審查，這些治理模式的創(chuàng)新在逐漸推動(dòng)全球AI治理架構(gòu)形成。

（本文刊發(fā)于《中國(guó)經(jīng)濟(jì)周刊》2024年第11期）