“作惡”的人工智能還要人來(lái)治

有點(diǎn)數(shù)·數(shù)字經(jīng)濟(jì)工作室原創(chuàng)

作  者 |有 叔

微信ID | yds_sh

一個(gè)家喻戶曉的明星正在短視頻平臺(tái)上聊教育話題，猝不及防就打起了廣告：“從小給孩子喝某某牌奶粉，聰明長(zhǎng)得壯�！北M管表情和口型有點(diǎn)對(duì)不上，但聲音卻相似得出奇。仔細(xì)辨別之后才能發(fā)現(xiàn)，這是“AI換臉擬聲”搞得鬼。

隨著AI技術(shù)的更新迭代，為工作生活帶來(lái)便利的同時(shí)，也給了犯罪分子可乘之機(jī)，“AI換臉擬聲”詐騙、侵權(quán)案時(shí)有發(fā)生。在今年3·15國(guó)際消費(fèi)者權(quán)益日來(lái)臨之際，我們聊聊人工智能帶來(lái)的消費(fèi)亂象。

當(dāng)詐騙與AI技術(shù)結(jié)合，應(yīng)該如何應(yīng)對(duì)？

“張文宏”正直播帶貨？AI助長(zhǎng)了“信息蝗災(zāi)”

知名傳染病學(xué)專家張文宏化身帶貨主播，在深夜直播，大肆推銷(xiāo)某個(gè)牌子的蛋白棒？

不久前，某視頻博主發(fā)布的視頻中，“張文宏”醫(yī)生強(qiáng)烈推銷(xiāo)一款蛋白棒，讓不少網(wǎng)友信以為真，一時(shí)銷(xiāo)量近1200件。

面對(duì)這樣明目張膽的侵權(quán)行為，張文宏隨后作出回應(yīng)稱，視頻是AI合成的：“我在發(fā)現(xiàn)這事后立即投訴過(guò)那個(gè)AI合成的視頻，但這樣的賣(mài)貨賬號(hào)不止一個(gè)，且一直在變，我多次向平臺(tái)投訴但屢禁不絕，自己最后也沒(méi)精力了�！�

在此類(lèi)直播中，幕后人員以AI技術(shù)利用張文宏的形象和聲音，稍加編造話術(shù)進(jìn)行“忽悠”，便可使得那些不知名、以次充好甚至假冒偽劣商品瞬間賣(mài)光。如果騙局被揭穿，他們就會(huì)重新再開(kāi)賬號(hào)進(jìn)行直播帶貨。

“這些假的AI合成信息就像蝗災(zāi)一樣，一次又一次發(fā)生，像漫天飛過(guò)來(lái)的蝗蟲(chóng)一樣害人。很多不明真相的老百姓、特別是有些對(duì)AI不是很熟悉的、年紀(jì)較大的市民，就很容易相信。”該涉事視頻已從發(fā)布賬號(hào)中移除，且該賬號(hào)已被平臺(tái)永久封禁。除了向平臺(tái)投訴，張文宏也考慮求助警方，但對(duì)方看不見(jiàn)、摸不著，經(jīng)常更換賬號(hào)，很難找到準(zhǔn)確的報(bào)警對(duì)象。

《2024人工智能安全報(bào)告》顯示，2023年基于AI的深度偽造欺詐事件數(shù)量激增了3000%，AI合成視頻正在成為別有用心之人引導(dǎo)輿論、斂財(cái)工具�？床恢�、摸不見(jiàn)、對(duì)得上……這些在AI合成視頻中的優(yōu)點(diǎn)轉(zhuǎn)身一變，不斷挑戰(zhàn)人們“眼見(jiàn)為實(shí)”的認(rèn)知底線，侵蝕消費(fèi)者合法權(quán)益。

不只是張文宏，許多公眾人物如教育專家李玫瑾、影視明星劉德華、靳東等都在不同場(chǎng)合呼吁過(guò)對(duì)“AI換臉擬聲”加強(qiáng)監(jiān)管，全國(guó)人大代表雷軍在今年兩會(huì)提出的建議中，就包括關(guān)于“AI換臉擬聲”違法侵權(quán)的治理。

不管馬云還是靳東，AI都能換臉擬聲

誤信“AI換臉擬聲”的直播帶貨，從而買(mǎi)到假冒偽劣的商品，消費(fèi)者權(quán)益不免受到損害，但更具危害性的是，利用人工智能技術(shù)進(jìn)行的詐騙活動(dòng)。據(jù)媒體報(bào)道，有人在社交平臺(tái)用AI換臉成富商馬云，視頻連線獲取網(wǎng)友信任，目標(biāo)受眾多為對(duì)AI缺乏認(rèn)知的中老年人，之后再以“做扶貧項(xiàng)目”等為由騙取錢(qián)財(cái)。還有人在短視頻平臺(tái)上冒充演員靳東與中老年人接觸，以需要錢(qián)拍戲?yàn)橛烧T使他人轉(zhuǎn)賬。

除了冒充公眾人物，還有不法分子用AI模仿你身邊的重要關(guān)系人，更是讓人防不勝防。比如天津警方披露的一起AI詐騙案中，市民李先生此前收到了一條短信，對(duì)方自稱是李先生單位的領(lǐng)導(dǎo)，要求加其社交軟件詳聊。加上好友后，對(duì)方便以有急事需要資金周轉(zhuǎn)為由，要求李先生向其轉(zhuǎn)賬，還保證事后錢(qián)款一定返還。對(duì)方還主動(dòng)打來(lái)視頻電話�？吹揭曨l那頭出現(xiàn)的確實(shí)是“領(lǐng)導(dǎo)”，李先生瞬間放下戒備，分3筆向?qū)Ψ絽R款95萬(wàn)元。當(dāng)天下午，李先生與朋友聊天時(shí)提起這件事，越想越覺(jué)得不對(duì)勁，于是報(bào)警。

接到報(bào)警后，天津警方迅速與銀行開(kāi)啟聯(lián)動(dòng)機(jī)制，及時(shí)對(duì)3張銀行卡進(jìn)行緊急止付操作。銀行成功凍結(jié)了涉案資金83萬(wàn)元。據(jù)民警介紹，不法分子利用AI技術(shù)，將他人的臉換成熟人或親人的臉，冒充詐騙對(duì)象的重要關(guān)系人，通過(guò)合成“以假亂真”的視頻或照片來(lái)實(shí)施詐騙�！�

香港警方也披露過(guò)一起多人“AI換臉”詐騙案，涉案金額高達(dá)2億港元。據(jù)央視新聞報(bào)道，一家跨國(guó)公司香港分部的職員受邀參加總部首席財(cái)務(wù)官發(fā)起的“多人視頻會(huì)議”，并按照要求先后轉(zhuǎn)賬多次，將2億港元分別轉(zhuǎn)賬15次，轉(zhuǎn)到5個(gè)本地銀行賬戶內(nèi)。之后，其向總部查詢才知道受騙。警方調(diào)查得知，這起案件中所謂的視頻會(huì)議中只有受害人一個(gè)人是“真人”，其他“參會(huì)人員”都是經(jīng)過(guò)“AI換臉”后的詐騙人員。

與AI換臉視頻相比，AI合成語(yǔ)音在詐騙中更難辨別。全球安全技術(shù)公司邁克菲（McAfee）發(fā)布的調(diào)查報(bào)告指出，只需提供3-4秒的錄音，網(wǎng)絡(luò)上的免費(fèi)AI工具就能生成相似度達(dá)到85%的克隆人聲。在參與調(diào)查的7000多位全球受訪者中，有70%的人不確定是否能分辨AI合成語(yǔ)音，而大約有10%的人遭遇過(guò)AI語(yǔ)音詐騙。

在社交媒體上，有不少留學(xué)生發(fā)帖表示曾遇到利用AI合成本人語(yǔ)音，對(duì)在國(guó)內(nèi)的父母進(jìn)行的詐騙。這些詐騙以綁架為名，放出AI合成的求救語(yǔ)音，同時(shí)利用時(shí)空差，在造成恐慌的心理下騙取大量金額。

預(yù)防信息泄露，用心識(shí)破AI騙局

我們從上面的案例不難看出，人工智能是把雙刃劍。從細(xì)分行業(yè)來(lái)說(shuō)，有越來(lái)越多的金融機(jī)構(gòu)引入了人工智能來(lái)開(kāi)展客戶服務(wù)，這也給了不法分子可乘之機(jī)。有消費(fèi)者接到自稱是保險(xiǎn)公司客服電話，要求提供銀行卡信息并支付“續(xù)期保費(fèi)”，結(jié)果被騙取錢(qián)財(cái)。在這背后，是不法分子利用人工智能模擬保險(xiǎn)公司客服人員的聲音或聊天機(jī)器人，通過(guò)電話聯(lián)系消費(fèi)者，誘導(dǎo)其泄露個(gè)人信息。

說(shuō)到這里，我們發(fā)現(xiàn)當(dāng)下利用AI技術(shù)的詐騙手段呈現(xiàn)出門(mén)檻更低，效果更逼真的趨勢(shì)，那面對(duì)AI新型騙局的各類(lèi)場(chǎng)景，我們應(yīng)該如何提高防范意識(shí)和應(yīng)對(duì)能力呢？

AI技術(shù)上確實(shí)能做到換臉、擬音，但要實(shí)現(xiàn)騙局，首先得收集到被換臉對(duì)象的個(gè)人身份信息、大量人臉照片、語(yǔ)音，通過(guò)AI生成以假亂真的音視頻；竊取被換臉（聲）對(duì)象的社交軟件號(hào)碼；掌握詐騙對(duì)象個(gè)人身信息，熟悉其社會(huì)關(guān)系等。這就提醒我們，要增強(qiáng)個(gè)人信息保護(hù)意識(shí)，不在社交平臺(tái)上發(fā)布機(jī)票、證書(shū)、照片等包含姓名、身份證號(hào)、手機(jī)號(hào)、關(guān)鍵位置等個(gè)人信息的圖片，不輕易提供人臉、指紋等生物信息給他人。

對(duì)一些冒充名人網(wǎng)絡(luò)營(yíng)銷(xiāo)或者生成虛假新聞的，如何辨別，或者怎么識(shí)別是否AI換臉、變聲呢？業(yè)內(nèi)專家提醒，一方可以檢查面部特征，觀察表情、動(dòng)作以及聲音和口型的匹配度；另一方面，核實(shí)信息來(lái)源，讓對(duì)方用手遮住面部或進(jìn)行其他面部動(dòng)作判斷畫(huà)面是否連貫。

AI合成視頻往往在面部細(xì)節(jié)上存在較為顯著缺陷：微表情缺失（如眼角細(xì)紋、嘴角抽動(dòng)難以捕捉）、光影不匹配（輪廓和陰影過(guò)渡不符合光線反射規(guī)律）以及皮膚過(guò)于光滑（缺乏毛孔、紋理和瑕疵）。在眼神與表情方面，眼球運(yùn)動(dòng)機(jī)械化（轉(zhuǎn)動(dòng)不連貫、眨眼頻率異常），面部表情僵硬（轉(zhuǎn)換生硬、笑容缺乏真實(shí)感）。

雖然聲音克隆技術(shù)近年來(lái)取得了顯著進(jìn)步，幾乎能夠達(dá)到以假亂真的程度。仔細(xì)聽(tīng)聽(tīng)可以發(fā)現(xiàn)，AI生成的語(yǔ)音通常更加流暢，語(yǔ)速更快，且較少出現(xiàn)‘額’‘嗯’‘也就是說(shuō)’等語(yǔ)氣詞或停頓，聽(tīng)得多了，還是能識(shí)別出AI生成的聲音。

結(jié) 語(yǔ)

AI亂象面前，消費(fèi)者提高警惕的同時(shí)，政府監(jiān)管也要跟得上、跑得快。我國(guó)相繼頒布了《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法律法規(guī)，目的就是規(guī)范AI應(yīng)用。

AI技術(shù)要想造福于民，監(jiān)管與提升大眾防范意識(shí)必不可少。只有不斷提高違法行騙成本與難度，提升公眾鑒別真?zhèn)我庾R(shí)，才能杜絕AI技術(shù)淪為技術(shù)行騙的工具。

       原文標(biāo)題 : 315打假，該治治用AI挖出的騙局陷阱了 | 315有聲音