問(wèn)卷調(diào)查中，76.5%的受訪者表示曾多次遭遇AI假新聞；街頭實(shí)驗(yàn)中，多名受訪者被AI生成的虛假信息蒙蔽，并轉(zhuǎn)發(fā)該內(nèi)容……生成式人工智能在飛速發(fā)展的同時(shí)，伴生出的AI謠言傳播、隱私安全等新型風(fēng)險(xiǎn)，也正成為全社會(huì)關(guān)注的焦點(diǎn)。

9月12日，上海外灘大會(huì)以“規(guī)范AI內(nèi)容，共筑清朗生態(tài)”為主題的見(jiàn)解論壇上，南方都市報(bào)、南都大數(shù)據(jù)研究院編制并發(fā)布《AI新治向：生成式人工智能內(nèi)容與傳播風(fēng)險(xiǎn)治理觀察》報(bào)告（以下簡(jiǎn)稱《“AI新治向”報(bào)告》）。

上海外灘大會(huì)“規(guī)范AI內(nèi)容，共筑清朗生態(tài)”見(jiàn)解論壇上，南方都市報(bào)、南都大數(shù)據(jù)研究院編制并發(fā)布《AI新治向：生成式人工智能內(nèi)容與傳播風(fēng)險(xiǎn)治理觀察》報(bào)告。

《“AI新治向”報(bào)告》以南都近一年來(lái)對(duì)百起風(fēng)險(xiǎn)事件的調(diào)查、數(shù)千份問(wèn)卷調(diào)研及多輪社會(huì)實(shí)驗(yàn)為基礎(chǔ)，嘗試揭示生成式AI伴生的多類風(fēng)險(xiǎn)，解析AI虛假內(nèi)容傳播鏈，并提出“多措并舉，多元共治”治理建議，強(qiáng)調(diào)為AI發(fā)展系緊安全帶。

AI應(yīng)用普及伴生多類風(fēng)險(xiǎn)

AI技術(shù)正加速融入千行百業(yè)，重塑生產(chǎn)與生活方式。然而技術(shù)在提升效率、增進(jìn)創(chuàng)意的同時(shí)，也伴生諸多新型風(fēng)險(xiǎn)，對(duì)社會(huì)治理提出全新挑戰(zhàn)。為回應(yīng)這些新問(wèn)題，南都大數(shù)據(jù)研究院推出“AI新治向”專欄，從日常場(chǎng)景切入，持續(xù)追蹤AI風(fēng)險(xiǎn)與治理動(dòng)態(tài)，涵蓋深度報(bào)道，數(shù)據(jù)新聞、調(diào)查測(cè)評(píng)與視頻解讀等多種形態(tài)，提出可行治理建議，獲得管理部門(mén)與企業(yè)平臺(tái)的密切關(guān)注。比如開(kāi)展“100款A(yù)PP AI內(nèi)容標(biāo)識(shí)大摸底”專題調(diào)研，為推動(dòng)法規(guī)政策落地提供媒體視角；發(fā)布“保護(hù)AI世界里的孩子”等系列報(bào)道，直面AI技術(shù)濫用對(duì)青少年的影響，推動(dòng)社會(huì)共同聚焦未成年人的AI安全等。

本次《“AI新治向”報(bào)告》梳理出生成式人工智能伴生的典型內(nèi)容風(fēng)險(xiǎn)，包括虛假信息與誤導(dǎo)性內(nèi)容、深度合成詐騙、隱私泄露與數(shù)據(jù)濫用、版權(quán)與人格權(quán)侵害、商業(yè)與學(xué)術(shù)誠(chéng)信失范，以及未成年人權(quán)益侵害等多個(gè)方面。

活動(dòng)現(xiàn)場(chǎng)用趣味互動(dòng)卡片呈現(xiàn)AI日常應(yīng)用場(chǎng)景與潛在風(fēng)險(xiǎn)。

其中，在虛假信息與誤導(dǎo)性內(nèi)容方面，南都大數(shù)據(jù)研究院曾分析去年國(guó)內(nèi)50起高熱AI風(fēng)險(xiǎn)事件中，發(fā)現(xiàn)20%涉及AI謠言。以此前廣為流傳的《特朗普愛(ài)上在白宮當(dāng)保潔的我》這一虛構(gòu)AI短劇為例，南都調(diào)查顯示，有高達(dá)75%的受訪者曾接觸到這則假新聞。另外，當(dāng)人工智能模型遭到惡意指令污染時(shí)，可能會(huì)輸出具有誤導(dǎo)性的回答，例如在測(cè)試中，某些模型在被注入異常語(yǔ)料后，竟對(duì)“快速賺錢的十個(gè)辦法”這一問(wèn)題給出了“搶銀行”的危險(xiǎn)建議。

深度合成技術(shù)的濫用還催生了新型詐騙形式。不法分子通過(guò)克隆名人或親友的音視頻實(shí)施詐騙，給受害人造成巨額經(jīng)濟(jì)損失。比如網(wǎng)民曾制作并上傳大量雷軍的AI音頻，其中不乏罵人、惡搞語(yǔ)音，成為輿論熱點(diǎn)。而南都曾調(diào)查多款具備該技術(shù)能力的AI應(yīng)用對(duì)聲音克隆幾乎不設(shè)限，錯(cuò)誤言論、詆毀話語(yǔ)、涉黃詞句，都可用他人聲音“讀”出來(lái)，風(fēng)險(xiǎn)大量存在。

報(bào)告發(fā)布時(shí)，觀眾刮開(kāi)卡片涂層，查看“AI新治向”風(fēng)險(xiǎn)提示。

與此同時(shí)，隱私泄露和數(shù)據(jù)濫用風(fēng)險(xiǎn)同樣不容忽視。人工智能應(yīng)用往往需要采集大量個(gè)人數(shù)據(jù)，而其強(qiáng)大的信息挖掘與分析能力，可能在用戶不知情的情況下觸及非公開(kāi)或敏感信息，從而模糊隱私保護(hù)的邊界。此前，微博AI智搜功能就曾因分析用戶非公開(kāi)博文、地理位置、消費(fèi)習(xí)慣等敏感信息而引發(fā)爭(zhēng)議。甚至，南都大數(shù)據(jù)研究院調(diào)查發(fā)現(xiàn)，大模型視覺(jué)推理能力的發(fā)展使得通過(guò)普通街景照片精準(zhǔn)定位拍攝地點(diǎn)成為可能，這意味著用戶在社交媒體上分享的照片可能被惡意利用，造成隱私泄露風(fēng)險(xiǎn)。

除了上述風(fēng)險(xiǎn)外，生成式人工智能還在挑戰(zhàn)版權(quán)與人格權(quán)的保護(hù)邊界。例如南都測(cè)評(píng)發(fā)現(xiàn)，某些軟件提供與明星的“情侶合照”生成功能，未經(jīng)授權(quán)使用可能構(gòu)成對(duì)明星肖像權(quán)的侵害。

互動(dòng)卡片上的AI應(yīng)用場(chǎng)景與風(fēng)險(xiǎn)提示，均選自南都“AI新治向”欄目。

人工智能代寫(xiě)論文、生成虛假外賣菜品和門(mén)店圖片等現(xiàn)象，不僅衍生出灰色產(chǎn)業(yè)鏈，還對(duì)學(xué)術(shù)和商業(yè)誠(chéng)信造成嚴(yán)重?fù)p害。還有AI應(yīng)用普遍缺乏未成年人模式，可能導(dǎo)致青少年接觸不良內(nèi)容或沉迷對(duì)話等。我們測(cè)試10款熱門(mén)AI陪聊應(yīng)用發(fā)現(xiàn)，多數(shù)應(yīng)用對(duì)未成年人身份的識(shí)別和保護(hù)能力較弱，部分應(yīng)用還存在一些極端AI人設(shè)與軟色情內(nèi)容，有誘導(dǎo)沉迷和充值之嫌。

綜合來(lái)看，生成式AI風(fēng)險(xiǎn)成因復(fù)雜，是技術(shù)、管理、素養(yǎng)與倫理多重因素交織的結(jié)果。首先，技術(shù)本身存在局限性，生成式模型依賴訓(xùn)練數(shù)據(jù)，在處理復(fù)雜問(wèn)題時(shí)容易產(chǎn)生“幻覺(jué)”，輸出虛假內(nèi)容。其次，訓(xùn)練數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)中存在的偏見(jiàn)或錯(cuò)誤會(huì)導(dǎo)致生成內(nèi)容失真。第三，惡意濫用行為屢禁不止，不法分子通過(guò)提示詞注入等手段誘導(dǎo)人工智能生成有害信息，深度合成技術(shù)用于詐騙也是典型例子。第四，數(shù)據(jù)管理存在明顯漏洞，人工智能應(yīng)用收集大量個(gè)人數(shù)據(jù)的同時(shí)，缺乏嚴(yán)格的保護(hù)機(jī)制，極易導(dǎo)致信息泄露。第五，監(jiān)管與倫理規(guī)范尚未完善，技術(shù)的迭代速度遠(yuǎn)遠(yuǎn)超過(guò)法律法規(guī)的響應(yīng)速度。此外，公眾對(duì)人工智能技術(shù)的認(rèn)知不足，辨別真?zhèn)涡畔⒛芰^弱，也在客觀上助長(zhǎng)了虛假內(nèi)容的傳播。面對(duì)這些多重挑戰(zhàn)，建立完善的人工智能治理體系已成為當(dāng)務(wù)之急。

AI假新聞這樣撬動(dòng)傳播鏈

為什么AI虛假內(nèi)容總能輕易擴(kuò)散？《“AI新治向”報(bào)告》通過(guò)街頭實(shí)驗(yàn)與問(wèn)卷調(diào)查，以AI假新聞為例深度解析其背后傳播機(jī)制。數(shù)據(jù)顯示，76.5%的受訪者表示曾多次遇到AI假新聞。而老年人因?qū)夹g(shù)了解有限更易輕信合成內(nèi)容，成為高風(fēng)險(xiǎn)人群，記者在實(shí)地采訪中發(fā)現(xiàn)，AI生成的視頻內(nèi)容尤其容易使老年人產(chǎn)生混淆和誤判。

南都大數(shù)據(jù)研究院在街頭以三條近期流傳的AI假新聞進(jìn)行采訪實(shí)驗(yàn)，10名受訪者中有8人在觀看新聞后表示將轉(zhuǎn)發(fā)，其中關(guān)于某運(yùn)動(dòng)員的相關(guān)謠言轉(zhuǎn)發(fā)最多，理由是“出于喜愛(ài)想幫助她”。問(wèn)卷數(shù)據(jù)進(jìn)一步揭示，用戶轉(zhuǎn)發(fā)虛假新聞的主要原因是“內(nèi)容引起共鳴”和“信任信息來(lái)源”，這兩項(xiàng)占比均超過(guò)六成。

調(diào)查數(shù)據(jù)顯示，絕大多數(shù)用戶依賴直覺(jué)判斷真?zhèn)危叱墒茉L者憑借“內(nèi)容邏輯”和“畫(huà)面真實(shí)感”評(píng)估新聞內(nèi)容的真實(shí)性，不到一半的受訪者會(huì)核查新聞來(lái)源或搜索驗(yàn)證。在這種“強(qiáng)情緒+熟人/大V背書(shū)”的傳播情境中，嚴(yán)謹(jǐn)?shù)暮蓑?yàn)機(jī)制被簡(jiǎn)化為瞬間的直覺(jué)判斷，從而觸發(fā)了“易信易轉(zhuǎn)”的傳播行為。

而造謠者借助AI技術(shù)用較低成本生成高擬真，且具有情緒煽動(dòng)性的內(nèi)容，既貼合算法推薦機(jī)制，又輕易通過(guò)用戶的“直覺(jué)式篩查”，再疊加用戶網(wǎng)絡(luò)素養(yǎng)不足、平臺(tái)審核薄弱與流量利益驅(qū)動(dòng)等因素，形成快速擴(kuò)散傳播鏈條。值得注意的是，即便事后發(fā)現(xiàn)誤轉(zhuǎn)，也有20%的受訪者表示不會(huì)進(jìn)行任何澄清或處理，虛假信息于是持續(xù)發(fā)酵，形成“雪球效應(yīng)”。

需多措并舉、多方共治

面對(duì)生成式人工智能伴生的多重風(fēng)險(xiǎn)，我國(guó)正在積極構(gòu)建多層次、綜合化的治理體系。目前，覆蓋原則、規(guī)則與標(biāo)準(zhǔn)的治理網(wǎng)絡(luò)已初步形成。近年來(lái)，《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等重要法規(guī)相繼出臺(tái)，自2025年9月起，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》及配套強(qiáng)制性國(guó)家標(biāo)準(zhǔn)也正式生效，進(jìn)一步強(qiáng)化了對(duì)生成內(nèi)容的管理與規(guī)范。與此同時(shí)，“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng)持續(xù)深入開(kāi)展，平臺(tái)企業(yè)也在積極履行主體責(zé)任。教育部同期出臺(tái)《中小學(xué)生成式人工智能使用指南》，致力于從源頭上引導(dǎo)青少年建立正確、健康的人工智能使用觀念。

為進(jìn)一步為生成式人工智能系好“安全帶”，需“多措并舉”?！丁癆I新治向”報(bào)告》提到，主要包括推行強(qiáng)制標(biāo)識(shí)制度，使AI生成內(nèi)容達(dá)到可辨識(shí)、可溯源；不斷強(qiáng)化數(shù)據(jù)合規(guī)與授權(quán)機(jī)制，堅(jiān)持最小必要原則收集個(gè)人信息，切實(shí)保障用戶知情權(quán)與刪除權(quán)；通過(guò)“紅隊(duì)測(cè)試”等方法持續(xù)提升模型可靠性與透明度；對(duì)醫(yī)療、金融、法律等高敏感度場(chǎng)景實(shí)行分級(jí)分類管理，嚴(yán)格限制AI權(quán)限，并確保人類專家進(jìn)行最終核查；針對(duì)未成年人探索“青少年模式”，將AI素養(yǎng)教育、通識(shí)教育納入中小學(xué)課程體系，培育未成年人對(duì)AI生成內(nèi)容的批判性認(rèn)知等。

而構(gòu)建健康清朗網(wǎng)絡(luò)生態(tài)，仍需多元協(xié)同、多方共治?！丁癆I新治向”報(bào)告》也建議，政府需在激勵(lì)創(chuàng)新與有效監(jiān)管之間尋求平衡，平臺(tái)企業(yè)應(yīng)當(dāng)全面落實(shí)安全主體責(zé)任，公眾也需主動(dòng)提升批判性認(rèn)知能力，學(xué)術(shù)界與行業(yè)組織則應(yīng)積極推動(dòng)技術(shù)標(biāo)準(zhǔn)與行業(yè)自律機(jī)制的建立與完善。唯有各方明確責(zé)任、協(xié)同發(fā)力，才能構(gòu)建起一個(gè)既能鼓勵(lì)創(chuàng)新又能有效管控風(fēng)險(xiǎn)的治理體系，確保人工智能技術(shù)真正造福于人類社會(huì)。

本次論壇由南方都市報(bào)社、南都大數(shù)據(jù)研究院、中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)人工智能工作委員會(huì)、復(fù)旦大學(xué)傳播與國(guó)家治理研究中心聯(lián)合主辦。

監(jiān)制：戎明昌 劉江濤

策劃：王衛(wèi)國(guó) 鄒瑩

統(tǒng)籌：凌慧珊 張雨亭 關(guān)健明

采寫(xiě)：南都N視頻記者 陳袁 見(jiàn)習(xí)記者 張文嘉

設(shè)計(jì)：歐陽(yáng)靜 原毅 羅銳 郭文哲

出品：南都大數(shù)據(jù)研究院>