新華報(bào)業(yè)網(wǎng)
最近，“AI合成6只‘死螃蟹’視頻騙取商家195元退款”“買家AI合成死螃蟹僅退款被拘8日”等話題登上熱搜。
新華日?qǐng)?bào)·交匯點(diǎn)記者注意到，隨著AI技術(shù)的普及，基于AI生成內(nèi)容的“深度偽造”特性，一些不法分子利用生成合成內(nèi)容實(shí)施詐騙，引發(fā)社會(huì)廣泛關(guān)注。
AI合成“死螃蟹”實(shí)施詐騙
12月10日，記者聯(lián)系到蘇州市相城區(qū)大閘蟹經(jīng)銷商高晶時(shí)，她和丈夫劉宇杰剛剛核對(duì)好今天的大閘蟹訂單、處理好售后，最近生意不錯(cuò)，每天約有200份訂單，其中線上平臺(tái)占到一半以上。
高晶正是“AI合成‘死螃蟹’騙取商家退款”話題中的當(dāng)事商家。11月17日，高晶根據(jù)客戶訂單，發(fā)出了一箱8只裝大閘蟹，實(shí)發(fā)4公4母。第二天中午，廣州的買家就收到了貨，完成簽收?！昂炇蘸?0多分鐘，我們就收到了平臺(tái)發(fā)來(lái)的客戶反饋，說(shuō)8只螃蟹死了6只?！备呔дf(shuō)。
“我當(dāng)時(shí)第一反應(yīng)就感覺(jué)不太可能，因?yàn)槲覀冏鼍簦焚|(zhì)較高，再加上這階段天氣也比較冷，物流也就一晚上，死蟹確實(shí)會(huì)有，但比率不可能這么高。”收到反饋后，高晶按照流程讓客戶拍了照片。客戶發(fā)來(lái)的照片上，6只大閘蟹腹部朝上躺在水池臺(tái)面上，蟹腳異常上翹，不符合死蟹的生理特征。
于是，高晶讓客戶再拍一段視頻，用手指逐個(gè)去撥動(dòng)一下，買家也按照要求發(fā)來(lái)這樣的視頻?！爱?dāng)時(shí)看完第二段視頻，以為視頻也不好造假了，我就按照平臺(tái)賠付要求，向買家賠付了195元?！?/p>
“不過(guò)，我心里還是覺(jué)得有點(diǎn)不對(duì)勁?！钡诙?，高晶開(kāi)始跟家人復(fù)盤這個(gè)事情，重新檢查買家發(fā)來(lái)的圖片和視頻。這次，高晶有了新的發(fā)現(xiàn)：“買家發(fā)來(lái)的第一張圖片上死蟹為2公4母，而第二段視頻卻變成3公3母?！卑l(fā)現(xiàn)這個(gè)更大的疑點(diǎn)之后，高晶將其疑惑和買家再次提出，這時(shí)，買家就只顯示信息已讀，不再回復(fù)。隨后，高晶將此事發(fā)在了網(wǎng)絡(luò)上，在廣州網(wǎng)友和自媒體博主的聯(lián)動(dòng)下，廣州當(dāng)?shù)毓膊块T立即介入調(diào)查。
12月2日，高晶收到了警方的處理結(jié)果：此前線上購(gòu)買螃蟹的買家利用手機(jī)合成制作收到6只“死螃蟹”的虛假視頻，要求商家退款195元，實(shí)施詐騙。該當(dāng)事人11月28日被公安機(jī)關(guān)查獲。根據(jù)相關(guān)法規(guī)，決定給予該當(dāng)事人行政拘留8日的處罰，并追繳違法所得人民幣195元。
在采訪中，劉宇杰說(shuō)，今年是兩人返鄉(xiāng)創(chuàng)業(yè)的第二年，家里父母養(yǎng)殖大閘蟹，主要負(fù)責(zé)線下門店，他和妻子就負(fù)責(zé)起大閘蟹的線上銷售。今年9月，大閘蟹開(kāi)捕后，他們?nèi)腭v電商平臺(tái)，借助平臺(tái)的流量和促銷活動(dòng)，再加上自己店鋪的讓利，生意一直不錯(cuò)?！跋Ｍ覀冞@件事可以對(duì)造假者予以警示，同時(shí)各部門也需要形成合力，共同維護(hù)健康的市場(chǎng)環(huán)境。”
AI技術(shù)“雙刃劍”效應(yīng)凸顯
“AI技術(shù)的‘雙刃劍’效應(yīng)已經(jīng)開(kāi)始凸顯?！碧K州市人工智能行業(yè)協(xié)會(huì)戰(zhàn)略顧問(wèn)兼研究員朱佳認(rèn)為，伴隨著技術(shù)的快速發(fā)展，AI在為人們?nèi)粘９ぷ?、生活提供便捷性的同時(shí)，確實(shí)在安全治理層面帶來(lái)了新的挑戰(zhàn)，出現(xiàn)了利用深度偽造技術(shù)進(jìn)行欺詐、利用虛擬形象進(jìn)行不當(dāng)營(yíng)銷等案例。
記者梳理發(fā)現(xiàn)，除了AI制作虛假視頻，騙退款實(shí)施詐騙外，運(yùn)用AI技術(shù)生成“名人”，進(jìn)行直播帶貨；通過(guò)AI工具制造謠言，博取流量等，這些都是AI技術(shù)被用“歪”的表現(xiàn)。
更有甚者，用戶在網(wǎng)上看到的專家講座，很可能也是用AI生成的詐騙信息。北京大學(xué)國(guó)家發(fā)展研究院的李玲教授曾發(fā)布公開(kāi)聲明，聲稱網(wǎng)絡(luò)上出現(xiàn)了大量假冒其身份推銷醫(yī)藥書籍和治療手段的虛假視頻，大多為人工智能合成，她本人并未在任何平臺(tái)上推銷醫(yī)藥產(chǎn)品或書籍。隨后李玲教授向警方報(bào)警。
“AI技術(shù)在賦能信息傳播的同時(shí)，其內(nèi)在的不透明性和放大效應(yīng)也構(gòu)成了新型的虛假信息風(fēng)險(xiǎn)源?。”蘇州大學(xué)傳媒學(xué)院教授張夢(mèng)晗近幾年的研究重點(diǎn)指向生成式AI帶來(lái)的社會(huì)風(fēng)險(xiǎn)，她舉例說(shuō)，此前有網(wǎng)民為博取流量，在搜集未經(jīng)核實(shí)的網(wǎng)絡(luò)信息后，利用AI生成“四川啟動(dòng)2.15萬(wàn)億拆遷項(xiàng)目”虛假信息，四人因虛構(gòu)事實(shí)被行政處罰，這表明追求真實(shí)客觀的新聞報(bào)道領(lǐng)域也難逃AI造假帶來(lái)的沖擊，長(zhǎng)此以往將動(dòng)搖公眾對(duì)新聞?wù)鎸?shí)性的信任。
“這場(chǎng)AI造假不是單方面的狂歡?！碧K州電子商務(wù)協(xié)會(huì)秘書長(zhǎng)徐金龍說(shuō)，對(duì)于商家而言，面對(duì)一些惡意“薅羊毛”用戶，往往因?yàn)樽宰C成本高，而選擇吃下啞巴虧；而消費(fèi)者如果遇到不法商家，如果沒(méi)能夠及時(shí)擦亮雙眼，也會(huì)導(dǎo)致自身利益受損?！癆I造假每得逞一次，都是對(duì)社會(huì)誠(chéng)信的侵蝕，最終會(huì)讓消費(fèi)者信譽(yù)受損、平臺(tái)收緊規(guī)則，這場(chǎng)投機(jī)沒(méi)有贏家。”
多方攜手共筑安全防線
在AI合成“死螃蟹”這起事件中，高晶呼吁：“希望有關(guān)部門加強(qiáng)監(jiān)管，也期待線上平臺(tái)可以幫助商家甄別AI造假的情況，這樣也會(huì)幫我們省去很多麻煩?！?o:p>
“規(guī)范使用AI技術(shù)，沒(méi)有單一角色能獨(dú)善其身?！蹦暇┬畔⒐こ檀髮W(xué)江北新區(qū)發(fā)展研究院院長(zhǎng)丁宏認(rèn)為，監(jiān)管部門需要加強(qiáng)立法監(jiān)督，對(duì)于AI造假行為進(jìn)行嚴(yán)厲禁止，并追究直接使用者責(zé)任；平臺(tái)也要加強(qiáng)審核責(zé)任，構(gòu)建技術(shù)過(guò)濾校驗(yàn)防線，對(duì)可能產(chǎn)生危害后果的行為進(jìn)行預(yù)警；商家與消費(fèi)者需要誠(chéng)信參與，各方攜手共同構(gòu)筑一道堅(jiān)實(shí)的防線。
今年9月1日，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》（以下簡(jiǎn)稱《標(biāo)識(shí)辦法》）開(kāi)始施行，辦法由國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國(guó)家廣播電視總局等四部門聯(lián)合發(fā)布，重點(diǎn)解決“哪些是生成的”“誰(shuí)生成的”“從哪里生成的”等問(wèn)題，推動(dòng)由生成到傳播各環(huán)節(jié)的全流程安全管理，力爭(zhēng)打造可信賴的人工智能技術(shù)。
這給AI參與內(nèi)容生產(chǎn)立了“規(guī)矩”。針對(duì)服務(wù)提供者，《標(biāo)識(shí)辦法》明確應(yīng)當(dāng)對(duì)文本、音頻、圖片、視頻、虛擬場(chǎng)景等生成合成內(nèi)容添加顯式標(biāo)識(shí)，在提供生成合成內(nèi)容下載、復(fù)制、導(dǎo)出等功能時(shí)，應(yīng)當(dāng)確保文件中含有滿足要求的顯式標(biāo)識(shí)。針對(duì)互聯(lián)網(wǎng)應(yīng)用程序分發(fā)平臺(tái)，《標(biāo)識(shí)辦法》提出在應(yīng)用程序上架或者上線審核時(shí)，應(yīng)當(dāng)要求互聯(lián)網(wǎng)應(yīng)用程序服務(wù)提供者說(shuō)明是否提供人工智能生成合成服務(wù)，并核驗(yàn)其生成合成內(nèi)容標(biāo)識(shí)相關(guān)材料。針對(duì)用戶，《標(biāo)識(shí)辦法》要求使用網(wǎng)絡(luò)信息內(nèi)容傳播服務(wù)發(fā)布生成合成內(nèi)容的，應(yīng)當(dāng)主動(dòng)聲明并使用服務(wù)提供者提供的標(biāo)識(shí)功能進(jìn)行標(biāo)識(shí)。
“目前，部分電商平臺(tái)開(kāi)始取消‘僅退款’政策，降低欺詐成功率?！庇?0多年網(wǎng)購(gòu)經(jīng)驗(yàn)的消費(fèi)者胡芳注意到，淘寶天貓?jiān)诮衲?月更新了“商品圖片不失真”規(guī)則，明確認(rèn)定了“商品材質(zhì)或款式不符”“效果失真或夸大效果”等AI假圖的典型場(chǎng)景，并通過(guò)上線識(shí)別模型，采取“源頭攔截”“存量清理”和“標(biāo)識(shí)提醒”等措施進(jìn)行治理。
“除了平臺(tái)識(shí)別外，也需要每一位消費(fèi)者遵守規(guī)則、誠(chéng)實(shí)守信，共同營(yíng)造良好的網(wǎng)絡(luò)生態(tài)，這對(duì)各方都有利?！焙颊f(shuō)。
新華日?qǐng)?bào)·交匯點(diǎn)記者 王俊杰 陳誠(chéng)
Android版
iPhone版
