深度偽造名人聲音帶貨、詐騙AI技術(shù)應(yīng)用“玩過界”如何治

近期，包括全紅嬋在內(nèi)多位奧運冠軍的聲音被AI克隆，用到短視頻平臺冒充本人帶貨農(nóng)產(chǎn)品，不少消費者因此誤信下單，引起社會廣泛熱議。隨著AI合成技術(shù)的普及，聲音和形象被AI合成濫用的情況正變得越來越多，對人們在網(wǎng)上購物或者了解相關(guān)信息帶來干擾。怎樣才能守住安全底線？《中國消費者報》記者對此展開了調(diào)查。

技術(shù)濫用催生亂象

當(dāng)AI技術(shù)能完美復(fù)刻他人聲音，侵權(quán)行為便隨之泛濫。在網(wǎng)絡(luò)上，知名演員的“聲音”24小時不間斷在直播間與粉絲互動吸引打賞；多位配音演員發(fā)現(xiàn)多家公司在未經(jīng)授權(quán)的情況下盜用其克隆聲音，用作企業(yè)宣傳視頻配音……配音演員武揚反映：“有一個牛肉火鍋店使用了我的聲音為宣傳片配音，但是相關(guān)的配音并非我本人錄制，對方也承認(rèn)是以合作公司的一個干音（純配音）用AI訓(xùn)練后生成的一個新的視頻。”

AI技術(shù)給人們帶來新奇娛樂體驗的同時，也可能被不法分子濫用，淪為實施精準(zhǔn)詐騙的技術(shù)賦能工具。今年1月，微信平臺發(fā)布的公告顯示，一個月內(nèi)，就處置了1.2萬條利用AI仿冒名人進行違規(guī)拼接、不當(dāng)營銷和惡意博取流量的內(nèi)容，關(guān)閉了3281個相關(guān)賬號。

北京互聯(lián)網(wǎng)法院近日審結(jié)一起涉AI深度偽造名人聲音帶貨的人格權(quán)侵權(quán)糾紛案件。法院認(rèn)定AI合成聲音具備可識別性即可落入權(quán)利人聲音權(quán)益的保護范圍，未經(jīng)權(quán)利人許可的使用構(gòu)成侵權(quán)，商家委托平臺“達(dá)人”共同以推介商品為目的發(fā)布帶貨視頻、獲取相應(yīng)收益，未盡到合理的審查注意義務(wù)。法院判決商家賠禮道歉并賠償損失。

資深人工智能專家郭濤在接受《中國消費者報》記者采訪時表示，該現(xiàn)象的本質(zhì)是人工智能技術(shù)紅利與倫理風(fēng)險失衡的典型表征。AI生成內(nèi)容的高仿真性已突破傳統(tǒng)偽造的技術(shù)壁壘，使公眾陷入“眼見未必為實”的認(rèn)知困境，直接沖擊社會信任體系。其危害不僅在于侵犯名人肖像權(quán)、聲音權(quán)等人格權(quán)并進行商業(yè)化盜用，更在于通過算法推薦機制形成惡性傳播鏈條，滋生虛假營銷、網(wǎng)絡(luò)詐騙等衍生犯罪。

工業(yè)和信息化部信息通信經(jīng)濟專家委員會委員、國內(nèi)知名數(shù)字經(jīng)濟學(xué)者劉興亮在接受《中國消費者報》記者采訪時表示：“作為一項新技術(shù)，AI合成技術(shù)在業(yè)內(nèi)統(tǒng)稱為深度偽造，本身并無價值傾向，其圖像/音視頻生成能力可用于數(shù)字人主播、虛擬教學(xué)等合規(guī)場景。從技術(shù)角度而言，這項新技術(shù)并不分好壞，只是人們常用的工具。但隨著這項技術(shù)普遍化，也可能被濫用于偽造信息、網(wǎng)絡(luò)詐騙等違法行為。當(dāng)前公眾需區(qū)分兩類使用動機——普通用戶的技術(shù)嘗鮮應(yīng)遵循相關(guān)規(guī)則，而有的人是違反了公序良知甚至突破法律紅線的惡意使用。”

與時俱進優(yōu)化監(jiān)管

流暢的視頻畫面、惟妙惟肖的神態(tài)、相同的說話語氣，如果沒有人主動告知，你能否分辨出是真人還是由AI生成的數(shù)字人？今年年初，一條關(guān)于張伯禮院士為某美白護膚品進行宣傳的帶貨視頻在互聯(lián)網(wǎng)上傳播。經(jīng)核實后發(fā)現(xiàn)，該視頻是由AI偽造合成的。除此之外，張文宏、雷軍等多位公眾人物被不法分子靠AI技術(shù)合成聲音、視頻來虛假宣傳商品。

在AI技術(shù)深度融入日常生活的今天，當(dāng)技術(shù)的進步已模糊了真實與虛擬的邊界，如何通過更有力的監(jiān)管保障人們的合法權(quán)益，是一個值得思考的重要問題。

9月2日，抖音電商安全與信任中心發(fā)布了“關(guān)于加強治理AI內(nèi)容濫用的公告”，稱少數(shù)商家和“達(dá)人”存在濫用或誤用AI技術(shù)的情況，甚至借助AI生成誤導(dǎo)內(nèi)容，損害消費者合法經(jīng)濟權(quán)益，擾亂平臺正常交易秩序。平臺已對違規(guī)視頻和賬號采取下架、清退等措施，并表示AI應(yīng)用必須合規(guī)，任何誤用、濫用行為將被嚴(yán)厲打擊。

記者了解到，早在幾年前，多家視頻平臺便提出了發(fā)布人工智能生成內(nèi)容時，需添加“內(nèi)容由AI生成”標(biāo)識的要求。但隨著AI技術(shù)的深入發(fā)展，有不少免費的AI軟件配置了鏡像文件功能，能一鍵生成虛擬人像，從而規(guī)避平臺的監(jiān)測。

上海杉達(dá)學(xué)院數(shù)字商法研究中心研究員唐樹源在接受《中國消費者報》記者采訪時表示，AI內(nèi)容監(jiān)測與規(guī)避的技術(shù)對抗已形成螺旋式升級態(tài)勢。當(dāng)前平臺主要依賴數(shù)字水印、內(nèi)容特征分析等傳統(tǒng)技術(shù)識別AI生成內(nèi)容，但生成式AI通過對抗樣本訓(xùn)練、模型蒸餾等手段，可快速突破監(jiān)測防線。破解困局需推動技術(shù)標(biāo)準(zhǔn)升級，如開發(fā)基于區(qū)塊鏈的不可篡改標(biāo)識系統(tǒng)，同時建立跨平臺聯(lián)防聯(lián)控機制，形成從生成到傳播的全鏈條技術(shù)治理生態(tài)。

劉興亮認(rèn)為，各個平臺對于AI內(nèi)容監(jiān)測的執(zhí)行寬松度不一致，過去的標(biāo)注是顯式標(biāo)識，比如展現(xiàn)視頻是由AI生成或數(shù)字人出鏡的，但顯式標(biāo)注容易被人篡改、裁剪等。因此，加強對隱式標(biāo)識的管理尤為關(guān)鍵，可對包括數(shù)字剪映、原數(shù)據(jù)等表面上看不到的信息予以常態(tài)化監(jiān)管，從而起到保障消費者合法權(quán)益、遏制違法犯罪的效果。

生成內(nèi)容強制“打標(biāo)”

“作者提示：內(nèi)容為AI技術(shù)制作，虛構(gòu)內(nèi)容請謹(jǐn)慎甄別。”近期，有些消費者在刷短視頻時發(fā)現(xiàn)，不少短視頻下面都多了這樣一行小字。

9月1日，由國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國家廣播電視總局聯(lián)合制定的《人工智能生成合成內(nèi)容標(biāo)識辦法》（以下簡稱《辦法》）正式施行?！掇k法》要求，人工智能生成合成內(nèi)容標(biāo)識分為顯式標(biāo)識和隱式標(biāo)識兩種形式。顯式標(biāo)識需以文字、聲音、圖形等方式明顯呈現(xiàn)，隱式標(biāo)識則通過技術(shù)措施嵌入文件數(shù)據(jù)中。

在此背景下，多家短視頻平臺紛紛響應(yīng)，相關(guān)用戶協(xié)議已修改升級，將嚴(yán)打?qū)I生成技術(shù)的濫用行為。其中，快手平臺已上線AI內(nèi)容標(biāo)識，會在AI生成的內(nèi)容中添加“AI生成”顯式標(biāo)識以及嵌入文件元數(shù)據(jù)中的隱式標(biāo)識。如果用戶上傳的內(nèi)容明確由AI生成或疑似由AI生成，平臺會在內(nèi)容周邊進行顯著提示。

微信、小紅書等社交媒體平臺也更新了用戶協(xié)議，要求內(nèi)容發(fā)布者以顯著方式主動標(biāo)識AI生成內(nèi)容。對于不主動標(biāo)識AI生成內(nèi)容的行為，部分平臺表示會采取限流、下架、封號等措施。

記者觀察到，在《辦法》實施后，市場上有觀點認(rèn)為，只要按規(guī)定添加“AI技術(shù)制作”標(biāo)識便可不受限制地隨意發(fā)布視頻內(nèi)容。針對這一觀點，劉興亮表示，視頻內(nèi)容標(biāo)識制度的核心價值在于建立透明可追溯的創(chuàng)作生態(tài)。通過強制標(biāo)注AI生成工具來源，既幫助消費者識別內(nèi)容性質(zhì)，又能追溯技術(shù)路徑。但需特別強調(diào)，這種標(biāo)識是技術(shù)中立的記錄手段，創(chuàng)作者仍需對內(nèi)容合法性負(fù)責(zé)——標(biāo)注AI生成信息不能成為傳播虛假內(nèi)容、侵犯隱私等違法違規(guī)行為的免責(zé)理由。