sese资源,林予曦麻豆传媒网盘资源

玉林市信用風(fēng)險提示：先聲音再視頻所謂“熟人”來敲門,？——“AI換臉”詐騙亂象風(fēng)險預(yù)警

發(fā)布時間：2023-12-06 11:09:06 | 來源：中國信用

從ChatGPT火爆全網(wǎng)，到“AI換臉”新騙局全國頻發(fā),，人工智能作為戰(zhàn)略性新興技術(shù)受到了市場廣泛關(guān)注,。近年來，隨著人臉識別技術(shù)的廣泛應(yīng)用和人工智能技術(shù)的進(jìn)步,，一些不法分子開始利用AI技術(shù)融合他人面孔和聲音,，制造逼真的合成圖像來實施新型網(wǎng)絡(luò)詐騙，類似騙局手段多樣,、門檻低,、辨別難度大，經(jīng)常讓人防不勝防，短時間內(nèi)給受騙者造成較大損失,。從形象到聲音,，如何警惕AI“深度造假”?

——題記

點開直播間乍一看，賣貨的竟是當(dāng)紅女星,。再定睛一看,，“明星”其實是使用人工智能（AI）實時換臉技術(shù)的普通主播。他們冒充明星藝人,，只為增加賣點,，助力賣貨……

隨著數(shù)字科技的飛躍發(fā)展，“互聯(lián)網(wǎng)+”時代已經(jīng)緊跟不斷進(jìn)步的網(wǎng)絡(luò)技術(shù)而到來,，AI也在迅速進(jìn)入大眾生活,。伴隨著這股浪潮席卷社會的方方面面，詐騙手段也隨之更新迭代,，尤其是日益增加的電信網(wǎng)絡(luò)詐騙犯罪,，不僅對眾多受騙者造成了嚴(yán)重的財產(chǎn)損失，也令各類金融機(jī)構(gòu)叫苦不迭,。

和你視頻對話的,，很可能不是本人。如此以假亂真,，讓人防不勝防,。在日益增加的電信詐騙案件中，犯罪分子常常誘導(dǎo)用戶自行操作,，如何辨別用戶的正常操作與受騙后“非自覺”的操作,，成為一道風(fēng)控難題。如今,，在“AI換臉”詐騙多發(fā)的背景下,，如何破局AI技術(shù)濫用、如何應(yīng)對AI技術(shù)安全風(fēng)險無疑也引發(fā)業(yè)界深思,?！癆I換臉”的法律邊界在哪？普通人又該如何防范,？

10分鐘被騙取430萬元
AI詐騙能有多逼真

近日,，內(nèi)蒙古包頭警方發(fā)布一起利用AI實施電信詐騙的典型案例。

來自福建的郭先生是一家科技公司的法人代表,。今年4月,，他的好友突然通過微信視頻聯(lián)系他，稱自己的朋友在外地競標(biāo),，需要430萬元保證金,，想借用郭先生公司的賬戶走賬,。

基于對好友的信任，加上已經(jīng)視頻聊天“核實”了身份,，郭先生在10分鐘內(nèi),，先后分兩筆把430萬元轉(zhuǎn)到了對方的銀行賬戶上。

事后,，郭先生撥打好友電話才得知被騙，原來騙子通過“AI換臉”和擬聲技術(shù),，佯裝好友對其實施詐騙,。“從頭到尾都沒有和我提借錢的事情,，就說會先把錢給我打過來,，再讓我給他朋友賬戶轉(zhuǎn)過去，而且當(dāng)時是給我通了視頻的,，我在視頻中也確認(rèn)了面孔和聲音,，所以才放松了戒備?！惫壬f,。

很明顯，郭先生陷入了一場利用“AI換臉”技術(shù)實施的詐騙騙局,。

什么是“AI換臉”,？就是通過AI人工智能技術(shù)，把別人的臉換成自己的臉,，而且臉部表情自然,，效果逼真。整個過程只需要通過一張照片,，然后利用AI技術(shù)可以在軟件上使用自己的照片替換電視劇或者小視頻中的人物,，從而生成以自己為主角的視頻。

這種技術(shù)的發(fā)展,，竟然成為了新型詐騙手段,。騙子會利用AI技術(shù)，將他人的臉換成指定人的臉,，冒充詐騙對象的親人,、朋友等重要關(guān)系人，通過合成視頻或照片來“以假亂真”,。

值得注意的是,，騙子不是漫無目的地廣撒網(wǎng)，而是別有用心地鎖定詐騙對象,。他們會分析詐騙對象在網(wǎng)絡(luò)平臺發(fā)布的個人信息,，根據(jù)所要實施的騙術(shù)利用AI技術(shù)對人群進(jìn)行篩選，從而選出目標(biāo)對象，制定詐騙計策,。

郭先生遭遇的魔幻一幕令人吃驚,，但這并非“AI換臉”第一次作惡了。

2022年2月,，一位陳先生到浙江省溫州市公安局甌海分局仙巖派出所報案稱,，自己被“好友”詐騙了近5萬元。經(jīng)警方核實,，詐騙分子利用陳先生好友“阿誠”在社交平臺發(fā)布的視頻,，截取其面部視頻畫面后再利用“AI換臉”技術(shù)合成，制造陳先生與“好友”視頻聊天的假象騙取其信任,，從而實施詐騙,。

2021年，浙江省杭州市拱宸橋派出所接到報警,，受害人小陳稱他在與女網(wǎng)友視頻聊天后被對方敲詐勒索,。經(jīng)警方調(diào)查，對方利用“AI換臉”技術(shù),，將小陳視頻中的面部合成到不雅視頻中,，借此對其實施勒索。

2020年,，上海某公司高管因?qū)Ψ绞褂谩癆I換臉”與人工生成的語音技術(shù)制作公司領(lǐng)導(dǎo)的面孔,，并要該高管轉(zhuǎn)賬，致使該高管被詐騙150萬元,。

除此之外,，一位名叫王欣（化名）的受騙者甚至還在詐騙電話中聽到了自己母親的聲音。

原來,，王欣某天在家里午睡時,，突然接到了母親同事的微信語音電話，對方問她現(xiàn)在在哪里,、在做什么,。在王欣還不知道發(fā)生了什么事情的時候，她從電話里聽到了母親的聲音,，聲音聽起來很著急,。雖然王欣之前和母親說好了下午會去看牙醫(yī)，母親也知道她在做什么,，但她還是接到了這樣一通詢問行程的電話,。

母親告訴她，自己接到了一通號碼和王欣手機(jī)號一模一樣的來電,。接通電話后,，“王欣”的聲音從電話那邊傳來,，母親聽到她的女兒在哭喊。電話那邊的人對母親說,，王欣被他們綁架了,，讓母親馬上給他們轉(zhuǎn)賬30萬元，不然就“撕票”,。母親嚇壞了,，立馬打算給對方轉(zhuǎn)錢，被旁邊的同事攔下,，就這樣,，午睡中的王欣被叫醒。

據(jù)王欣說,，“騙子還挺高明的，一開始我想,，難道看不出來不是我的電話嗎?我后來看了一下,，那個電話號碼就是我的手機(jī)號，連我自己都辨別不出來,?！币荒Ｒ粯拥碾娫捥柎a瞞過了母親，神似王欣的聲音讓母親更加確信,，“我媽媽說,，那就是我的聲音?！蹦赣H還提到,，對方一開始先詢問她身邊有沒有人，并要求她走到?jīng)]有人的地方,。幸好通過微信語音電話及時確認(rèn)了王欣在家,，母親才放下心來。

“一年之前為了留學(xué)辦簽證,，我需要提供30萬的存款證明,，我第一反應(yīng)就是這個?！蓖跣阑貞浧?，曾和母親有過關(guān)于30萬元的對話。此外,，王欣偶爾會在朋友圈和其它社交媒體上發(fā)自己的照片,、視頻和聲音。

此后,，母親再一次收到了類似的電話,?！艾F(xiàn)在，我媽媽都不太敢接我打的電話了,，如果是微信電話的話還可能會接一下,。”王欣說,。

江蘇省常州市公安局常州經(jīng)開區(qū)分局橫林派出所民警陳歆怡曾辦理過多起倒賣,、非法利用用戶人臉照片的侵權(quán)案件，她表示“AI換臉”換聲的基本邏輯是通過深度學(xué)習(xí)特定算法,，將目標(biāo)人物的人臉,、表情、聲音等嫁接進(jìn)模仿的視頻中,，成本低,、合成速率高、檢測鑒別難度大,，一般人很難發(fā)現(xiàn)偽裝痕跡,。目前，AI詐騙主要有兩種形式,。

第一種是通過技術(shù)手段合成換臉,、換聲的視頻或語音，在視頻聊天,、普通電話中直接播放,。這種詐騙主要出現(xiàn)于比較緊急的情況，如遭遇事故求助等,，播放結(jié)束后就會中斷連接,，無法與被害人形成回合性對話。

另一種是在視頻通話中直接換臉并替換聲音,，或直接換聲撥打電話,。

民警提示，以上兩種詐騙方式都受限于樣本數(shù)量,，所以可以通過延長通話時間,、多次進(jìn)行提問的方式讓對方多說話，露出破綻,。

騙子定制“專屬劇本”
詐騙成功率非常高

AI詐騙之所以備受社會關(guān)注,、甚至引發(fā)恐慌，主要原因在于AI詐騙是模仿真人聲音和面部實施詐騙,，針對個人信息定制的“專屬劇本”,，詐騙成功率非常高。

在包頭曝光的案件中,，騙子就是盜用受騙人好友微信賬號,，利用“AI換臉”和擬聲技術(shù)佯裝好友,，通過視頻聊天成功對受騙人實施詐騙。

多地警方提醒,，AI詐騙的成功率接近100%,。更要防范親友間網(wǎng)絡(luò)上借錢這類詐騙，避免個人信息被別有用心者盜用,。

詐騙成功率如此之高,，網(wǎng)友不禁直呼“防不勝防”，開始擔(dān)心刷臉支付,、小區(qū)門禁人臉識別等各類應(yīng)用場景下,，個人隱私是否已經(jīng)泄漏。

事實并非如此,。

在采訪中,，有多名反詐民警表示，在實時視頻中進(jìn)行專業(yè)級別的“AI換臉”變聲,，不卡頓,、肉眼難以識別，在技術(shù)上并非易事,，對設(shè)備和技術(shù)要求極高。

北京社科院研究員王鵬同樣認(rèn)為,，AI技術(shù)與直播,、實時通訊視頻結(jié)合，要具有一定交互互動性,，技術(shù)門檻并不低,。

市面上幾十元的“AI換臉”教程，實際上更類似于PS（圖像處理）,。有媒體曾體驗過某電商平臺上39.9元的“AI換臉”技術(shù),。賣家提供的教學(xué)內(nèi)容顯示，用戶根據(jù)指引,，完成登錄,、提取臉部數(shù)據(jù)、訓(xùn)練模型,、換臉輸出視頻等步驟,，就能輕松實現(xiàn)“AI換臉”的視頻制作。主要適用于拍照場景,、影視劇片段的替換合成,。

既然仿真技術(shù)上較難操作，那為啥頻頻有人被騙呢,？一位反詐民警向記者透露,，詐騙分子主要是盜用并偽造好友身份,，利用日常話術(shù)，贏得了受害者信任,，換臉視頻只是進(jìn)一步增加可信度,。

比如，在安徽省安慶市何先生被騙的案例中,，其微信“好友”突然發(fā)起視頻通話,，電話接通后，何先生看到“好友”正在一間會議室內(nèi),，并借故會議有事,，通過QQ要求周轉(zhuǎn)資金，導(dǎo)致何先生被騙,。

“說到底還是電信詐騙的延伸,。這些游走在法律邊緣的AI技術(shù)黑灰產(chǎn)業(yè)鏈，增加了技術(shù)被惡意使用的風(fēng)險,?！蓖貔i說。

有業(yè)內(nèi)人士進(jìn)而指出,，深度合成技術(shù)大大降低了信息造假的難度,，只需要拿到一張照片，就能生成非常逼真的偽造視頻,，用于捏造虛假信息,、偽造不雅視頻、惡搞特定人物等,。

此外,，有視頻換臉研究者表示，實時換臉不存在延遲,，也不會有Bug,，而直播畫面?zhèn)鬏數(shù)难舆t則取決于使用者的網(wǎng)絡(luò)配置和進(jìn)行直播的平臺。

記者以使用者的身份咨詢了一家提供“換臉軟件”的網(wǎng)站,。該網(wǎng)站客服表示,，使用AI換臉需要進(jìn)行模型訓(xùn)練?！昂铣尚Ч貌缓?，關(guān)鍵看模型和素材?！?/span>

據(jù)提供“換臉軟件”的網(wǎng)站介紹,，使用者自己從零開始訓(xùn)練模型，如果24小時掛機(jī)不停地訓(xùn)練模型,，需要經(jīng)過半個月到一個月的時間,，才能達(dá)到可以合成視頻的效果,。

而比起自己花費大量時間訓(xùn)練模型，更多人選擇購買現(xiàn)成的模型,?！八夭某渥愕脑挘灰ㄙM半個小時到幾個小時的時間就可以直接合成視頻,。模型可以替換任意素材使用,，不分張三李四?！?/span>

該網(wǎng)站客服稱,，他們提供的全套模型購買價格為3.5萬元，AI實時換臉可適用于各大直播平臺,。

“AI換臉”冒充明星帶貨
或涉嫌欺詐和侵權(quán)

除了上述提到的佯裝“熟人臉”實施詐騙,，“AI換臉”還出現(xiàn)在直播帶貨中。最近,，網(wǎng)上出現(xiàn)了一些“換臉直播”教程,，教程發(fā)布者聲稱，實時變臉軟件可以幫助用戶輕松“變臉”,，極大地助力直播引流賣貨,。

在一個展示換臉直播效果的視頻中，使用者把名為“成龍”的模型載入相關(guān)軟件后,，攝像頭前的人在直播畫面中就有了與成龍相似的五官,，但臉型和發(fā)型還保持原樣。

記者發(fā)現(xiàn),，使用者歪頭或變換表情時，五官動效切換得自然順滑,，只有手掌從臉前劃過時,，出現(xiàn)了比較明顯的破綻。

據(jù)中國新聞網(wǎng)報道,，2021年5月,，“迪麗熱巴”在某電商平臺直播賣貨，“迪麗熱巴”身穿中式服裝,，在直播間推薦各種產(chǎn)品,，并與觀眾互動聊天。但仔細(xì)觀察可以發(fā)現(xiàn),，“迪麗熱巴”的嘴唇和眼睛有些不協(xié)調(diào),，聲音也有些變調(diào)。

另據(jù)羊城晚報報道,，2021年4月,，“楊冪”在某電商平臺直播賣貨,，“楊冪”身穿白色連衣裙，在直播間推薦各種美妝產(chǎn)品,，并與觀眾互動聊天,。但仔細(xì)觀察可以發(fā)現(xiàn)，“楊冪”的眼睛有些死板,，聲音也有些沙啞,。

以上案例僅是冰山一角。

連日來,，記者也在抖音,、快手、視頻號等直播間瀏覽,，暫未見到有“AI換臉”的直播,。隨后記者也在小紅書上搜索“AI換臉”，發(fā)現(xiàn)有不少博主通過視頻拆解“AI換臉”詐騙的案例,，并提醒大家要注意網(wǎng)聊風(fēng)險,。

“AI換臉”技術(shù)陸續(xù)出現(xiàn)在大眾視野，被不少網(wǎng)友拿來“玩?！?。今年初電視劇《狂飆》走紅時，有網(wǎng)友把《狂飆》中的多位男主角樣子“換到”了組合F4經(jīng)典歌曲《流星花園》的MV中,，戲稱為“狂飆F4”,。此外，有博主利用“AI換臉”,，將特斯拉創(chuàng)始人馬斯克的臉換到了不同背景的照片中,，戲稱“馬斯克賣燒烤”“馬斯克擺攤”……目的是為了吸引網(wǎng)友們的眼球，帶來更多的流量,。

目前“AI換臉”技術(shù)越來越成熟,，呈現(xiàn)效果越來越逼真，從一開始的自娛自樂,，到如今在社會上眾多領(lǐng)域中使用,。

深度科技研究院院長張孝榮表示，當(dāng)前的“AI換臉”屬于深度偽造的AI技術(shù)衍生應(yīng)用?，F(xiàn)在,，隨著生成式AI的發(fā)展，使用難度進(jìn)一步降低,，新興的App和主流的視頻軟件都增加了類似功能,，普及率大大提升，如此一來，線上的“李逵”和“李鬼”日益增多,，而且更加真假難辨,。

“隨著深度偽造技術(shù)、擴(kuò)散模型,、生成對抗網(wǎng)絡(luò)和AI大模型等AI技術(shù)的日漸成熟,，偽造相關(guān)視頻、音頻,、圖像等技術(shù)門檻大幅降低,。”天使投資人,、資深人工智能專家郭濤表示,，與此同時，大批提供相關(guān)服務(wù)的第三方應(yīng)用軟件問世,，應(yīng)用門檻進(jìn)一步降低,，哪怕是“AI技術(shù)小白”幾分鐘也能輕松學(xué)會“AI換臉”等操作。

“直播換臉軟件,，有的收費有的免費,，收費的從幾百到幾千上萬元，成本各有不同,?！睆埿s直言。

北京岳成律師事務(wù)所高級合伙人岳屾山表示,，換臉直播用于公開傳播可能涉嫌侵犯相關(guān)明星藝人的肖像權(quán),。根據(jù)不同情況，承擔(dān)的后果可能不同,。如果把明星肖像用于帶貨直播,，則屬于商業(yè)行為，如果主觀惡性,、過錯程度比較大,，且因此獲利，賠償數(shù)額可能會更高,。

記者注意到，一些使用換臉技術(shù)的直播并不會直接提到相關(guān)明星藝人的名字,，但也不會主動聲明或者否認(rèn),。岳屾山認(rèn)為，該行為涉嫌欺詐或是虛假宣傳,，讓公眾誤以為就是明星在帶貨,。如果貨品本身質(zhì)量不好，或者主播在帶貨過程中說的話或行為導(dǎo)致公眾對被換臉的明星產(chǎn)生負(fù)面評價，明星可以主張名譽權(quán)的侵權(quán)責(zé)任,。

據(jù)專家分析,，在“AI換臉”、AI擬聲等技術(shù)背后存在著一條條黑色產(chǎn)業(yè)鏈,。對此,，記者總結(jié)了近期AI詐騙的4種類型。

聲音合成：騙子通過提取某人的聲音素材,，利用AI技術(shù)合成語音,，冒充親友、領(lǐng)導(dǎo),、客服等身份,，誘導(dǎo)受害者轉(zhuǎn)賬或泄露個人信息。

轉(zhuǎn)發(fā)微信語音：騙子在盜取微信號后,，便向其好友“借錢”,，為取得對方的信任，他們會轉(zhuǎn)發(fā)之前的語音,，進(jìn)而騙取錢款,。盡管微信沒有語音轉(zhuǎn)發(fā)功能，但他們通過提取語音文件或安裝非官方版本（插件）,，實現(xiàn)語音轉(zhuǎn)發(fā),。

“AI換臉”：騙子通過截取或收集某人的面部視頻畫面，利用AI技術(shù)換臉,，制造視頻聊天的假象,，騙取受害者的信任和錢財。

AI程序篩選受害人：騙子利用AI分析公眾發(fā)布在網(wǎng)上的各類信息,，根據(jù)所要實施的騙術(shù)對人群進(jìn)行篩選,，在短時間內(nèi)便可生產(chǎn)出定制化的詐騙腳本，從而實施精準(zhǔn)詐騙,。

AI技術(shù)存在濫用風(fēng)險
務(wù)必保持防范意識

為規(guī)范人工智能發(fā)展,，相關(guān)監(jiān)管一直在持續(xù)發(fā)力。

去年12月,，《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》正式發(fā)布,，明確了合成數(shù)據(jù)和技術(shù)管理規(guī)范。其中提到：深度合成服務(wù)提供者對使用其服務(wù)生成或編輯的信息內(nèi)容,，應(yīng)當(dāng)添加不影響使用的標(biāo)識,。提供智能對話、合成人聲,、人臉生成,、沉浸式擬真場景等生成或者顯著改變信息內(nèi)容功能服務(wù)的,，應(yīng)當(dāng)進(jìn)行顯著標(biāo)識，避免公眾混淆或者誤認(rèn),。

今年4月,，國家網(wǎng)信辦發(fā)布《生成式人工智能服務(wù)管理辦法（征求意見稿）》（以下簡稱《管理辦法》），這也是國家首次針對生成式AI產(chǎn)業(yè)發(fā)布規(guī)范性政策,?！豆芾磙k法》提及，利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實準(zhǔn)確,，采取措施防止生成虛假信息,。尊重他人合法利益，防止傷害他人身心健康,，損害肖像權(quán),、名譽權(quán)和個人隱私，侵犯知識產(chǎn)權(quán),。禁止非法獲取,、披露、利用個人信息和隱私,、商業(yè)秘密,。

5月9日，《抖音關(guān)于人工智能生成內(nèi)容的平臺規(guī)范暨行業(yè)倡議》發(fā)布,，要求創(chuàng)作者,、主播、用戶,、商家,、廣告主等平臺生態(tài)參與者，在抖音應(yīng)用生成式人工智能技術(shù)時,，應(yīng)遵循相關(guān)規(guī)范,，其中包括發(fā)布者應(yīng)對人工智能生成內(nèi)容進(jìn)行顯著標(biāo)識，幫助其他用戶區(qū)分虛擬與現(xiàn)實,，特別是易混淆場景,；虛擬人需在平臺進(jìn)行注冊，虛擬人技術(shù)使用者需實名認(rèn)證等,。

8月,，國家網(wǎng)信辦發(fā)布的《人臉識別技術(shù)應(yīng)用安全管理規(guī)定(試行)(征求意見稿)》明確，人臉識別技術(shù)使用者應(yīng)每年對圖像采集設(shè)備,、個人身份識別設(shè)備的安全性和可能存在的風(fēng)險進(jìn)行檢測評估,，采取有效措施保護(hù)圖像采集設(shè)備、個人身份識別設(shè)備免受攻擊,、侵入、干擾和破壞。

近期,，也有平臺和企業(yè)發(fā)布了相關(guān)行業(yè)倡議,，明確禁止利用生成式人工智能技術(shù)創(chuàng)作、發(fā)布侵權(quán)內(nèi)容,，包括但不限于肖像權(quán),、知識產(chǎn)權(quán)等，一經(jīng)發(fā)現(xiàn),，平臺將嚴(yán)格處罰,。

一系列政策的發(fā)布實施為廣大消費者敲響了警鐘，中國科技大學(xué)公共事務(wù)學(xué)院網(wǎng)絡(luò)空間安全學(xué)院教授左曉棟對此表示,，目前看來初步遏制了濫用人工智能技術(shù),。特別是遏制了違法犯罪的勢頭，整體治理效果開始顯現(xiàn),，而且也有力促進(jìn)了人工智能技術(shù)的規(guī)范發(fā)展,。

一項新技術(shù)的落地應(yīng)用往往會經(jīng)歷一段“成長的煩惱”，這是新事物發(fā)展過程中的共性問題,。在某些人工智能技術(shù)應(yīng)用門檻不斷降低而觸達(dá)面越來越廣的當(dāng)下,，積極著手問題的研判與應(yīng)對，研究出臺有效舉措劃清新技術(shù)使用的邊界,、相關(guān)權(quán)責(zé)等,，都應(yīng)當(dāng)快馬加鞭，少一些空白,、多一些規(guī)范,。

某種程度上，人工智能技術(shù)的使用有多方便,，就可能有多少風(fēng)險和變數(shù),。防范包括“AI換臉”在內(nèi)的人工智能技術(shù)被濫用，要加強(qiáng)對人臉,、聲紋,、指紋、步態(tài)等生物信息數(shù)據(jù)的安全防護(hù),。這需要每個人提高防范意識,，更需要監(jiān)管部門在完善規(guī)制的進(jìn)程上加快腳步。

END

相關(guān)文章

大家關(guān)注

玉林市信用風(fēng)險提示：先聲音再視頻 所謂“熟人”來敲門,？——“AI換臉”詐騙亂象風(fēng)險預(yù)警

玉林市信用風(fēng)險提示：先聲音再視頻所謂“熟人”來敲門,？——“AI換臉”詐騙亂象風(fēng)險預(yù)警