明星現(xiàn)身、專家賣藥……一張圖片、一段聲音，就能生成虛假視頻，今年兩會期間，雷軍等受害者的回應(yīng)，讓AI偽造侵權(quán)再次成為熱點。

換臉擬聲合成視頻 AI偽造何時休？

全國人大代表 雷軍：有網(wǎng)友說去年國慶放了7天假，8天被我罵醒。網(wǎng)上出現(xiàn)非常非常多的，用我的聲音和人臉罵人的內(nèi)容。剛開始我覺得這是網(wǎng)民喜聞樂見拿我開涮，我也能接受，但是內(nèi)容比較低劣，多到不得了的時候，就防不勝防了。

除了雷軍被惡搞外，AI劉德華虛假宣傳，AI張文宏醫(yī)生和AI工程院院士張伯禮甚至做起了帶貨主播。

中國政法大學(xué)副教授 朱巍：我們現(xiàn)在看到的一些編輯的人臉，包括聲音在內(nèi)，實際上按照民法典的規(guī)定，都屬于當(dāng)事人權(quán)利人自己的人格權(quán)利。未經(jīng)允許，任何人是不得侵害的，不僅不能直接用，也不能使用當(dāng)事人的人臉信息、聲音信息進(jìn)行深度合成，不能把它放到深度合成的物料庫或場景庫里。

持續(xù)處置

濫用AI偽造名人形象帶貨營銷

針對濫用AI技術(shù)偽造名人形象開展帶貨營銷問題，網(wǎng)信部門持續(xù)督促各網(wǎng)站平臺進(jìn)行巡查處置，近一個月，重點網(wǎng)站平臺累計處置違法違規(guī)賬號和店鋪797個。

新聞鏈接

AI換臉換聲詐騙案件時有發(fā)生

除了偽造名人形象帶貨營銷，AI換臉和語音合成技術(shù)還被用于詐騙。犯罪分子通過非法獲取的人臉照片和語音樣本，利用開源AI工具生成逼真的虛擬形象。

此前內(nèi)蒙古警方破獲的一起AI換臉詐騙案中，福建某科技公司老板郭先生在視頻通話中目睹“好友”面容，10分鐘內(nèi)被騙轉(zhuǎn)賬430萬元，事后發(fā)現(xiàn)對方竟是AI換臉與擬聲技術(shù)合成的“數(shù)字替身”。

在另外一起案件中，上海的劉先生在短視頻平臺結(jié)識“焦女士”，發(fā)展為網(wǎng)戀后以各種名義被騙取20萬元，警方調(diào)查發(fā)現(xiàn)該團(tuán)伙使用AI生成虛假照片實施婚戀詐騙，涉案金額超200萬元。

AI換臉+擬聲

記者體驗“深度偽造”

人臉替換、聲音模擬，網(wǎng)絡(luò)上泛濫的AI“深度偽造”究竟是怎么做到的？真的很容易嗎？記者找技術(shù)人員去做了個測試，將事先錄制好的視頻換成記者的臉和聲音。僅通過記者的證件照片，不到兩分鐘，視頻的人臉就換成了記者的臉。隨后是聲音的AI制作，記者現(xiàn)場錄制了一段聲音輸入到AI資料庫中。

網(wǎng)絡(luò)技術(shù)人員 潘季明：我們收到您的錄音片段之后，通過AI算法進(jìn)行分析和學(xué)習(xí)，然后通過任意的輸入文本，可用您的聲音進(jìn)行朗讀。

AI制作的換臉和聲音的視頻完成后，將兩段視頻合成后，一段AI生成的記者視頻就產(chǎn)生了。

AI合成聲音制作視頻

購物平臺隨意定制

專家表示，AI換臉和換聲之類的軟件，屬于半專業(yè)軟件，普通網(wǎng)民還不能輕松掌握。但是，記者在調(diào)查中發(fā)現(xiàn)，普通網(wǎng)民即便不能掌握技術(shù)，也能輕松獲得自己需要的合成視頻。

在購物平臺搜索聲音克隆，就會出現(xiàn)眾多商家。記者發(fā)現(xiàn)聲音AI深度合成的價格，根據(jù)字?jǐn)?shù)不同在20到50元之間。商家告訴記者，只要提供一分鐘的語音素材，就可以用AI深度合成該聲音的任何話語。其中一個商家還給記者發(fā)來了此前客戶在他的網(wǎng)店定制的劉德華的聲音。

總臺央視記者崔世杰介紹，AI深度合成視頻分兩個步驟，

首先是聲音克隆，獲取目標(biāo)人的聲音。

再用目標(biāo)人的一段視頻，將克隆好的聲音與之合成，并進(jìn)行嘴型匹配。

這樣一個AI深度合成視頻就完成了。

記者選擇一家聲音克隆的網(wǎng)店，在支付了20元提供了自己的聲音模板和文字后，得到了AI深度合成的記者的聲音。

記者隨后在另一家AI制作視頻的網(wǎng)店，支付58元，提供AI深度合成的記者聲音和視頻后，就得到了AI制作的記者自己的帶貨視頻。

AI偽造視頻

違反了哪些法律法規(guī)？

針對AI深度合成作品，法律法規(guī)有明確的規(guī)定。2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》要求，任何組織和個人不得利用深度合成服務(wù)制作、復(fù)制、發(fā)布、傳播法律、行政法規(guī)禁止的信息。

今年9月1日即將實施的《人工智能生成合成內(nèi)容標(biāo)識辦法》也提出，對AI生成合成內(nèi)容要進(jìn)行標(biāo)識，以便公眾識別和區(qū)分，防止誤導(dǎo)性信息傳播。

如何防止人工智能技術(shù)被濫用

亟待破題

網(wǎng)店制作、售賣AI聲音和視頻并沒有做任何標(biāo)識。他們應(yīng)該承擔(dān)什么樣的法律責(zé)任呢？

中國政法大學(xué)副教授 朱?。何唇?jīng)權(quán)利人同意隨便使用別人的肖像和聲音，并且對外發(fā)布，至少按照民法典的規(guī)定是一種侵權(quán)責(zé)任，要承擔(dān)包括損害賠償、精神損害賠償在內(nèi)的相關(guān)責(zé)任。但如果把這個相關(guān)的視頻，包括聲音編輯之后，形成了相關(guān)的內(nèi)容，那么這個內(nèi)容如果違反了網(wǎng)絡(luò)安全法的相關(guān)規(guī)定，當(dāng)事人可能要承擔(dān)包括刑事責(zé)任在內(nèi)的法律責(zé)任。

今年兩會期間，“應(yīng)對和防止人工智能技術(shù)被濫用”的話題熱度始終不減，如何在技術(shù)創(chuàng)新和法律約束間找到平衡，是治理虛假信息和謠言傳播，亟待破題的關(guān)鍵。

中國計算機(jī)學(xué)會計算機(jī)安全專業(yè)委員會委員 呂延輝：AI侵權(quán)問題需要從法律、平臺和公眾多個層面綜合施策。法律層面，要進(jìn)一步完善相關(guān)立法，細(xì)化AI克隆技術(shù)的法律條款，明確侵權(quán)行為的定義和責(zé)任，同時加強(qiáng)執(zhí)法力度。

來源：央視新聞客戶端

責(zé)任編輯：李賽男