每經(jīng)記者 陳鵬麗  可楊    每經(jīng)編輯 董興生    

生成式人工智能（GAI）時代，似乎沒有什么不能被顛覆，連人們一直堅信不疑的“眼見為實”“有圖有真相”也逐漸成為空話。

今年春節(jié)期間，OpenAI發(fā)布的文生視頻模型Sora橫空出世，被認(rèn)為是“AGI（人工通用智能）的重要里程碑”，將顛覆視頻內(nèi)容生成方式。Sora的出現(xiàn)，振奮科技圈的同時也衍生出了擔(dān)憂的情緒。有專家稱，這類技術(shù)可能會導(dǎo)致“深度偽造”視頻增多，讓人難以識別真?zhèn)巍penAI自己也承認(rèn)，無法預(yù)測人們使用Sora的所有有益方式，也無法預(yù)測人們?yōu)E用它的所有方式。

Sora根據(jù)提示詞生成的視頻畫面截圖 圖片來源：OpenAI官網(wǎng)

在Sora誕生之前，AI“深度偽造”技術(shù)已經(jīng)在海內(nèi)外引發(fā)擔(dān)憂，知名明星與跨國公司相繼成為AI“深度偽造”的受害者。今年1月底，明星泰勒·斯威夫特（Taylor Swift，中文綽號“霉霉”）大量虛假“不雅照片”在社交平臺上傳播。此事震動美國白宮，并掀起一波關(guān)于人工智能的擔(dān)憂。2月4日，據(jù)香港文匯報報道，有詐騙集團利用AI“深度偽造”技術(shù)向一家跨國公司的香港分公司實施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的“換臉”案例。

諸如此類的案例越來越多，人工智能帶來的新型焦慮正在形成。瑞萊智慧Real AI聯(lián)合創(chuàng)始人&算法科學(xué)家蕭子豪在接受《每日經(jīng)濟新聞》記者采訪時就表示，他們判斷，2024年這種利用AI“深度偽造”技術(shù)實施的詐騙案件會進一步增加，因為“深度偽造”技術(shù)工程化落地速度很快，“即使是不了解技術(shù)的普通人，也能夠制作‘深度偽造’的內(nèi)容”。

娛樂還是犯罪？

“深度偽造”一詞譯自英文“Deepfake”（deep learning和fake的組合），現(xiàn)亦稱深度合成（Deep Synthesis）。“Deepfake”誕生于美國。2017年，美國一名為Deepfake的用戶在社交網(wǎng)站Reddit上發(fā)布了一則與知名演員有關(guān)的偽造視頻，這項技術(shù)隨后被迅速應(yīng)用到多個領(lǐng)域，包括色情、政治、廣告、娛樂等。

上海合合信息科技股份有限公司（以下簡稱“合合信息”）圖像算法研發(fā)總監(jiān)郭豐俊告訴《每日經(jīng)濟新聞》記者，在國內(nèi)，“深度偽造”技術(shù)有積極應(yīng)用，也有負(fù)面應(yīng)用。

積極應(yīng)用往往在于：一、個人娛樂。一些APP可為用戶提供藝術(shù)照模板，通過換臉形式生成用戶照片，用戶足不出戶也能“拍”出好看照片。此外，“深度偽造”技術(shù)也可用于制作搞笑視頻、模仿名人表演，但這可能涉及版權(quán)和道德等問題；二、教育。Deepfake技術(shù)合成的歷史人物講解視頻讓教學(xué)更有趣味性；三、影視制作。如電影、電視劇及綜藝節(jié)目中演員換臉，紀(jì)錄片中為保護參演者隱私和安全而換臉等；四、醫(yī)療。醫(yī)院描述或診斷患者面部肌肉疾病時，如果將患者人臉打馬賽克，就看不出面部癥狀，這時應(yīng)用Deepfake技術(shù)，可把病人視頻里的臉，換成一張假臉，既可以保留人臉的運動信息，亦保護了病人隱私；五、藝術(shù)。比如有美術(shù)館利用Deepfake技術(shù)讓已故的藝術(shù)家“現(xiàn)身”講述自己的故事和作品等。

但現(xiàn)實生活中，“深度偽造”技術(shù)也被廣泛應(yīng)用于詐騙、色情等非法場景。比如，一些不法分子借助“深度偽造”技術(shù)散布虛假視頻，甚至制造虛假新聞，危害社會；隨著視頻換臉技術(shù)門檻降低，別有用心之人利用“深度偽造”技術(shù)可以輕易盜用他人身份，實施商業(yè)詆毀、敲詐勒索、網(wǎng)絡(luò)攻擊和犯罪等。

記者注意到，目前，海內(nèi)外均有大量由“深度偽造”技術(shù)引發(fā)的深度造假案例，這些案例普遍造成了不小的負(fù)面影響。

比如，近日被傳出大量虛假“不雅照”的泰勒·斯威夫特。據(jù)九派新聞報道，泰勒·斯威夫特正考慮對生成這些圖片的網(wǎng)站采取法律行動。1月26日的美國白宮記者會上，發(fā)言人讓-皮埃爾被問及此事時表示：“我們對此類圖像流傳感到擔(dān)憂，更確切地說，是虛假圖像，這令人擔(dān)憂。”據(jù)澎湃新聞報道，這不是泰勒·斯威夫特第一次被AI“造假”。在這次“不雅照”事件前不久，一則由人工智能生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上傳播。這則虛假廣告利用“深度偽造”技術(shù)，合成“霉霉”的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，以“霉霉”身份宣稱免費向粉絲贈送炊具，引導(dǎo)受害者點擊并支付9.96美元運費，但炊具不會真的送出去。

泰勒·斯威夫特深受“深度偽造”困擾的背后，女性正成為不法分子實施侵害的重要目標(biāo)群體，他們利用“深度偽造”技術(shù)制造各種女性不雅視頻、圖片牟利。據(jù)網(wǎng)絡(luò)安全研究機構(gòu)Sensity在2020年秋季發(fā)布的報告，在Telegram的應(yīng)用中，至少有10.48萬名女性“被裸體”，而在分發(fā)這些照片的7個頻道中，累計用戶超過10萬。根據(jù)Sensity的追蹤調(diào)查，Telegram應(yīng)用中超七成的使用者表示他們上傳的照片是通過社交平臺，或其他私人渠道取得的。

英國Wired雜志于2020年發(fā)布的一篇報道也曾指出，2020年7月以來，至少有10萬名女性被“深度偽造”應(yīng)用DeepNude（深度偽造軟件，現(xiàn)已下架）創(chuàng)建了裸照，其中一些人不到18歲。

一些國家的政客也成為不法分子制造虛假視頻的對象。1月21日，美國新罕布什爾州一些選民稱接到了“拜登總統(tǒng)”的自動留言電話，告訴接聽者不要在該州初選中投票。美國白宮新聞秘書卡琳·讓-皮埃爾（Karine Jean-Pierre）次日回應(yīng)稱：“那通電話確實是假的，（拜登）總統(tǒng)沒有錄音。我可以證實這一點。”

更嚴(yán)重的還有，Deepfake甚至參與到了戰(zhàn)爭當(dāng)中，成為“新型武器”。2022年3月，一條烏克蘭總統(tǒng)弗拉基米爾·澤連斯基（Volodymyr Zelensky）的“視頻”被廣泛傳播，在該視頻中，澤連斯基呼吁烏克蘭士兵放下武器投降。事件發(fā)生后，烏克蘭國防部在其海外社交媒體官方賬號發(fā)布了澤連斯基的視頻，并配文稱：“請注意，這是不可能的。”

在國內(nèi)，中國香港近期發(fā)生了一起規(guī)模龐大的AI“深度偽造”詐騙案。詐騙者通過搜集一家跨國公司英國高層在YouTube上的公開影像，再利用AI“深度偽造”技術(shù)，給詐騙者換上公司高層的面部和聲音，從而實施詐騙，并成功從香港分公司騙走2億港元。這起巨額詐騙案發(fā)生前，今年1月中下旬，香港特別行政區(qū)行政長官李家超也成為“深度偽造”的目標(biāo)。網(wǎng)上出現(xiàn)了用人工智能偽造的電視節(jié)目片段，冒稱李家超向市民推介一項高回報的投資計劃。特區(qū)政府立即嚴(yán)正澄清，稱有關(guān)影片全屬偽造，行政長官從未作出相關(guān)言論。

去年5月初，內(nèi)蒙古包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用智能AI技術(shù)進行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標(biāo)，需要430萬元保證金，想借用郭先生公司的賬戶走賬?；谝曨l聊天信任的前提，郭先生并未核實錢是否到賬，就陸續(xù)轉(zhuǎn)給對方共計430萬元，之后郭先生才發(fā)現(xiàn)被騙。

個人娛樂方面，北京市中聞（長沙）律師事務(wù)所律師劉凱告訴《每日經(jīng)濟新聞》記者，2022年8月，成都鐵路運輸?shù)谝环ㄔ涸粚弻徖砹艘慌褂?ldquo;AI換臉”App程序侵害他人肖像權(quán)的案件。古風(fēng)漢服網(wǎng)紅魏某起訴了4家運營AI換臉軟件的公司，認(rèn)為對方在自己未授權(quán)的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權(quán)。記者了解到，國內(nèi)之前涌現(xiàn)過一批換臉APP，但這些APP中有部分目前已經(jīng)被下架，如ZAO、去演等。

大模型技術(shù)正降低“深度偽造”門檻

“深度偽造”是指利用深度學(xué)習(xí)技術(shù)生成合成圖像、音頻或視頻的技術(shù)。由于公眾人物的視頻、音頻、圖片資料的公開性，為AI訓(xùn)練提供了大量素材，因此，這些名人頻繁成為AI造假的“受害者”。從技術(shù)原理上看，“深度偽造”的實現(xiàn)主要依賴于深度神經(jīng)網(wǎng)絡(luò)，特別是生成對抗網(wǎng)絡(luò)（GAN）。通過訓(xùn)練大量的面部圖像數(shù)據(jù)，“深度偽造”模型能夠?qū)W習(xí)面部特征之間的潛在關(guān)系，并生成與真實面部特征高度相似的虛假面部特征。

郭豐俊告訴記者，“深度偽造”與國內(nèi)常見的“AI換臉”不能等同，后者只是前者的一種典型應(yīng)用形式。“當(dāng)談到Deepfake技術(shù)時，國內(nèi)和國外的研究團隊都已經(jīng)達到相當(dāng)高的技術(shù)程度。相較于國內(nèi)，國外擁有更多的應(yīng)用程序和網(wǎng)站，這些平臺提供了更多Deepfake制作工具，使用戶能夠相對容易地生成和分享Deepfake內(nèi)容。”

運用Sora也可以生成高清圖像 圖片來源：OpenAI官網(wǎng) 

浙江大學(xué)國際聯(lián)合商學(xué)院數(shù)字經(jīng)濟與金融創(chuàng)新研究中心聯(lián)席主任、研究員盤和林也告訴記者，國外對此類“深度偽造”算法限制較少，應(yīng)用工具較多。在工具豐富的背景下，這項技術(shù)的普及度就相對高。“國內(nèi)是有一定使用限制的，我們有監(jiān)管。”盤和林表示。

蕭子豪則提到，其實國內(nèi)通過“AI換臉”實施的詐騙還是很常見，只是大眾接觸到的案例較少。一方面，太多案例可能會造成大眾恐慌；另一方面，這些案例廣泛傳播可能會給犯罪分子以詐騙“靈感”。他透露，瑞萊智慧已經(jīng)幫助很多銀行在金融場景抵御AI換臉詐騙的攻擊。

他認(rèn)為，隨著AI技術(shù)的發(fā)展與普及，“深度偽造”技術(shù)在犯罪中的應(yīng)用確實呈現(xiàn)出增加的趨勢，“而且我們判斷，在2024年這種利用深度偽造實施的詐騙案件會進一步增加”。蕭子豪給出的理由包括，隨著“深度偽造”相關(guān)軟件和工具的開發(fā)普及，即使是不了解技術(shù)的普通人，也能制作深度偽造的內(nèi)容。此外，AI技術(shù)的進步也讓“深度偽造”內(nèi)容產(chǎn)生的速度更快、更難被人眼識別。

“大模型技術(shù)能夠用更少的人臉數(shù)據(jù)來給特定人構(gòu)造高逼真的人臉模型，降低了不法分子制作人臉視頻的成本。”蕭子豪說。

對于“深度偽造”技術(shù)應(yīng)用不當(dāng)可能帶來的社會危害，郭豐俊認(rèn)為，虛假合成影像可能會沖擊社會信任、媒體信任，嚴(yán)重時還會威脅社會公共安全。此外，深度造假影像還可能會讓公司名譽、財產(chǎn)遭受損失，還能令個人名譽、財產(chǎn)、精神受到損害。

目前法律法規(guī)是否足夠完善？

大量深度造假視頻或圖片的出現(xiàn)，讓海內(nèi)外衍生出新一輪AI擔(dān)憂。

據(jù)央視新聞，今年1月“假拜登來電”引發(fā)美國社會關(guān)于人工智能“深度偽造”可能影響大選的討論，同時也延伸帶出美國相關(guān)的監(jiān)管政策和立法跟進遲緩的質(zhì)疑。美國政府監(jiān)管組織“捍衛(wèi)公眾利益組織”負(fù)責(zé)人羅伯特·韋斯曼批評稱，政治“深度偽造”時刻已經(jīng)到來，政策制定者必須盡快采取保護措施，否則將面臨選舉混亂。“深度偽造”會播下混亂的種子，使欺詐行為永久化。美國消費者技術(shù)協(xié)會首席執(zhí)行官夏皮羅認(rèn)為，“政府需要在人工智能領(lǐng)域扮演重要角色，確保設(shè)置安全屏障和護欄，讓產(chǎn)業(yè)內(nèi)人士知道，哪些能做，哪些不能做”。

泰勒·斯威夫特AI不雅照事件發(fā)生后，盤和林曾對外發(fā)布署名文章《用AI打敗AI“深度造假”》。該文章同樣提到，美國雖然已經(jīng)在推動AI立法，但大部分提案還停留在紙面階段。

相對于美國，中國在“深度偽造”方面的立法走得相對靠前。記者獲悉，早在2019年11月，國家互聯(lián)網(wǎng)信息辦公室、文化和旅游部、國家廣播電視總局便聯(lián)合印發(fā)《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》，并于2020年1月1日起施行。該規(guī)定對網(wǎng)絡(luò)音視頻服務(wù)的使用者和提供者均提出要求，即利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識，不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息。

圖片來源：每日經(jīng)濟新聞 劉國梅 攝

2022年，國家互聯(lián)網(wǎng)信息辦公室、工信部和公安部制定的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確，深度合成服務(wù)者應(yīng)采取技術(shù)或人工方式對使用者的輸入數(shù)據(jù)和合成結(jié)果進行審核。去年8月，國家互聯(lián)網(wǎng)信息辦公室還在《人臉識別技術(shù)應(yīng)用安全管理規(guī)定（試行）（征求意見稿）》中明確，人臉識別技術(shù)使用者應(yīng)每年對圖像采集設(shè)備、個人身份識別設(shè)備的安全性和可能存在的風(fēng)險進行檢測評估，采取有效措施保護圖像采集設(shè)備、個人身份識別設(shè)備免受攻擊、侵入、干擾和破壞。

劉凱向《每日經(jīng)濟新聞》記者表示，實際上，目前世界各國對于“人工智能/Artificial Intelligence”未有一個確定的最終定義，均是作為一類計算機應(yīng)用的統(tǒng)稱。“就我了解到的情況，目前世界上也沒有國家制定一部專門針對人工智能的統(tǒng)一監(jiān)管規(guī)則。”

不過，我國在人工智能的立法方面緊跟行業(yè)前沿，這兩年陸續(xù)出臺《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理辦法》三部主要法規(guī)，加之此前出臺的《網(wǎng)絡(luò)安全法》等系列法律法規(guī)，可以說已經(jīng)為人工智能打造了多元化監(jiān)管格局，實現(xiàn)了多維譜系法律法規(guī)協(xié)同治理。

“對于泰勒·斯威夫特AI不雅照的深度偽造，在我國的法律規(guī)定中可適用的主要條文有：《民法典》第一千零一十九條第一款、《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十四條第二款、《生成式人工智能服務(wù)管理暫行辦法》第四條第四款規(guī)定。”劉凱說。

攻與防：AI打敗AI可行嗎？

身處生成式AI時代，如何有效監(jiān)管和減少“深度偽造”產(chǎn)生的虛假信息，成為全球關(guān)注的一項重要議題。盤和林在《用AI打敗AI“深度造假”》一文中曾提及一個觀點：“能夠監(jiān)管生成式AI的，不是工業(yè)時代的法律條文，而是AI技術(shù)自身。我們不但要發(fā)展AI技術(shù)，更要讓正義力量盡可能多地掌握AI技術(shù)，這樣才能對不法分子形成技術(shù)壓制。”

那么，用AI打敗AI造假可行嗎？

對此，郭豐俊告訴記者，“國內(nèi)做AI篡改鑒別的企業(yè)已有不少，既有如中國電信這樣的央企，又有如瑞萊智慧、中科睿鑒這類大學(xué)/科學(xué)院孵化的科技公司，還有網(wǎng)易、合合信息這樣深耕AI行業(yè)多年的企業(yè)。”他還進一步指出，國內(nèi)科研團隊在“深度偽造”鑒別方面已處于世界先進水平。不同的國內(nèi)研究團隊多次在國際知名篡改檢測大賽中獲得冠亞軍的好名次。

以合合信息自身為例，郭豐俊透露，公司在文檔/證照圖像上有較多的AI篡改檢測技術(shù)積累。目前，合合信息研發(fā)的針對證件及票據(jù)圖片的AI篡改檢測與定位技術(shù)、AI甄別偽造人臉圖像的技術(shù)等已經(jīng)在金融、保險行業(yè)得到廣泛應(yīng)用。除了金融安全場景，郭豐俊認(rèn)為，虛假新聞判斷、謠言識別與分析等公共安全、媒體內(nèi)容安全場景也有大量的需求，合合信息正積極探索這些場景的技術(shù)應(yīng)用。

蕭子豪表示，瑞萊智慧從2018年開始就持續(xù)關(guān)注“深度偽造”技術(shù)，并一直投入研發(fā)資源進行“深度偽造”的檢測與防御。“例如2023年，我們幫助某銀行在轉(zhuǎn)賬業(yè)務(wù)場景下防御了上千次深度偽造攻擊。”

圖片來源：公司官網(wǎng)

他告訴記者，瑞萊智慧一直在研發(fā)迭代更先進的算法，同時也研發(fā)了一整套深度偽造攻防靶場系統(tǒng)，通過自動化對抗來提升防御的能力。此外，公司也密切獲取不法分子最新的偽造方法，及時進行測試和防御能力增強。

“伴隨新型偽造方法的層出不窮、網(wǎng)絡(luò)傳播環(huán)境的日趨復(fù)雜，加上基于深度神經(jīng)網(wǎng)絡(luò)的檢測算法存在結(jié)構(gòu)性缺陷等，反深偽檢測技術(shù)也面臨‘強對抗性’，需要持續(xù)更新與迭代優(yōu)化。類似于‘貓鼠游戲’，深度合成和檢測在不斷學(xué)習(xí)攻防過程中會自我進化，規(guī)避上一代的對抗技術(shù)。為了能在對抗攻防中掌握主動權(quán)，未來，反深偽檢測技術(shù)的發(fā)展需融合多模態(tài)內(nèi)容的取證分析等多方面能力，實現(xiàn)偽造內(nèi)容的精準(zhǔn)識別，打造可信內(nèi)容體系。”蕭子豪說。