【經濟介面】

　　光明日報記者 劉坤 光明日報通訊員 柳素雯

  夜深人靜時，有人找它線上聊天、獲取慰藉；視頻帶貨時，有人用它快速生成行銷文案；同學聚會時，有人用它現場作詩助興……它，就是很多人眼中的“生活好幫手”“工作好搭子”——人工智慧（AI）大模型。

  近期，多款大模型產品橫空出世、風靡全球，再次掀起人工智慧熱潮。但與此同時，也有一些人利用人工智慧生成合成虛假內容，或為吸引眼球、賺取流量，或試圖以假亂真、造謠詐騙等，帶來一定風險和隱患，引發社會關注。

  近日，國家互聯網信息辦公室、工業和資訊化部、公安部、國家廣播電視總局聯合發佈《人工智慧生成合成內容標識辦法》（以下簡稱《辦法》）。《辦法》聚焦人工智慧“生成合成內容標識”關鍵點，通過標識提醒用戶辨別虛假資訊，明確相關服務主體的標識責任義務，規範內容製作、傳播各環節標識行為，將於2025年9月1日起施行。

  如何讓人工智慧生成合成內容“亮明身份”，不再“真假難辨”？如何破解人工智慧安全治理難題？記者就此進行了採訪。

江蘇省蘇州市“人工智慧+”創新發展推進大會上展示的人形機器人。新華社發

　　人工智慧合成讓人真假難辨

　　小貓小狗隨著音樂跳起舞蹈，家中“萌娃”大戰公雞……在短視頻平臺上，人們不時會刷到類似視頻。其實，一些傳播量、點讚量都很大的“神奇視頻”並非是真實的，而是由人工智慧生成合成的。

　　所謂人工智慧生成合成內容，是指利用人工智慧技術生成、合成的文本、圖片、音訊、視頻、虛擬場景等資訊。

　　近年來，人工智慧技術快速發展，為生成合成文字、圖片、音訊、視頻等資訊提供了便利工具，海量資訊得以快速生成合成並在網路平台傳播，在促進經濟發展、豐富網上內容、便利公眾生活的同時，也帶來生成合成技術濫用、破壞網路生態等問題，引發社會各界的關注。

　　“一些喜歡我參演的影視劇的觀眾，被AI換臉視頻騙得很慘，這個性質非常惡劣。”一位演員說，希望能建立更好的規範。實際上，不少公眾人物都遭遇過類似問題。

　　公安部數據顯示，近兩年來，全國共發生“AI換臉”類詐騙案近百起，累計造成的經濟損失高達2億元。

　　“人工智慧生成合成內容日益逼真，也催生虛假消息傳播、身份資訊冒充、惡意內容生成等新型安全風險，並削弱著公眾對網路傳播內容的信任根基。”中國工程院院士、浙江大學教授陳純說。

　　中國電子資訊產業發展研究院副總工程師劉權認為，人工智慧大模型本身存在不可解釋性問題。大模型運作機制不透明，產生的“黑箱”屬性導致不可解釋性。這種不可解釋性降低了可信度，使得輸出的內容可能存在事實性錯誤和偏差，特別是在醫療、金融等領域，難以滿足嚴苛的可信要求。

　　中國社會科學院大學互聯網法治研究中心主任劉曉春表示，通過人工智慧生成合成技術降低了內容“偽造”“造假”等的時間成本，尤其在圖片、音訊、視頻等領域，從早期引起廣泛關注的“換臉”工具，到偽造人聲、通話視頻的詐騙活動，再到“被壓在廢墟下的小男孩”等熱點事件，人工智慧技術帶來的深度偽造、虛假資訊、不良資訊、抄襲侵權等問題，對包括內容治理在內的網路空間秩序構成挑戰，對治理工具、方式和手段也提出了更新更高的要求。

　　數據顯示，截至2024年底，共302款生成式人工智慧服務在國家網信辦完成備案，其中當年新增238款備案。

　　“當前，大模型能夠生成高真實感的文本、人像、場景、音訊，普通民眾不藉助檢測工具往往很難辨別內容真偽。”中國科學院計算技術研究所數位內容合成與偽造檢測實驗室主任、研究員曹娟認為，隨著生成式人工智慧技術在各個行業落地應用，生成合成內容的數據規模快速增長，對生成內容進行全面檢測成本太高。生成合成內容適用場景大幅擴展，助長了欺騙場景多樣化。

在山東青島某中學舉行的科技節活動中，學生們觀看機器狗表演。 光明圖片 張鷹攝

　　打造可信賴的AI技術

　　《辦法》的推出是我國推進人工智慧領域安全治理、促進產業規範健康發展、引導技術向善的重要舉措，標誌著我國在生成式人工智慧領域邁出了構建安全可信生態的關鍵一步。

　　國家互聯網資訊辦公室有關負責人介紹，《辦法》重點解決“哪些是生成的”“誰生成的”“從哪裡生成的”等問題，推動由生成到傳播各環節的全流程安全管理，力爭打造可信賴的人工智慧技術。

　　針對服務提供者，《辦法》明確，應當對文本、音訊、圖片、視頻、虛擬場景等生成合成內容添加顯式標識，在提供生成合成內容下載、複製、匯出等功能時，應當確保檔中含有滿足要求的顯式標識；應當在生成合成內容的檔元數據中添加隱式標識。

　　針對互聯網應用程式分發平臺，《辦法》提出在應用程式上架或者上線審核時，應當要求互聯網應用程式服務提供者說明是否提供人工智慧生成合成服務，並核驗其生成合成內容標識相關材料。

　　針對使用者，《辦法》提出，使用者使用網路資訊內容傳播服務發佈生成合成內容的，應當主動聲明並使用服務提供者提供的標識功能進行標識。

　　此外，任何組織和個人不得惡意刪除、篡改、偽造、隱匿本辦法規定的生成合成內容標識，不得為他人實施上述惡意行為提供工具或者服務，不得通過不正當標識手段損害他人合法權益。

　　“《辦法》以合理成本提高安全性，促進人工智慧在文本對話、內容製作、輔助設計等各應用場景加快落地，同時減輕人工智慧生成合成技術濫用危害，防範利用人工智慧技術製作傳播虛假資訊等風險行為，推動人工智慧健康有序發展。”該負責人說。

　　中國政法大學數據法治研究院教授張淩寒認為，人工智慧生成內容標識制度具備獨特制度價值。標識能夠有效區分出人工智慧生成合成的資訊，防範虛假信息的傳播利用；標識能夠幫助使用者快速瞭解生成式人工智慧產品和服務的相關屬性或參數資訊；標識能夠協助監管部門對生成式人工智慧產品或服務實施評估、追溯等監管，推進人工智慧生成合成內容合法合規發展。

　　張淩寒表示，目前，人工智慧生成合成內容標識制度主要關注“是否機器生成”的形式判斷。隨著標識技術的進步與發展，未來標識制度能夠發揮更為豐富的功能，從形式判斷逐漸轉向“是否足夠可靠”的質量判斷，進一步促進行業健康發展。

　　安全治理進入“深水區”

　　良法善治，重在實施。

　　為推動《辦法》落地實施，強制性國家標準《網路安全技術　人工智慧生成合成內容標識方法》同步發佈，更好地指導相關主體規範開展標識活動。

　　“當前，人工智慧安全治理已從危害探討進入實際執法的深水區。”曹娟說，大模型生成技術反覆運算更新很快，平均兩個月就會出現新的里程碑模型，提升針對新生偽造方法的泛化能力至關重要，需要摒棄“來一個打一槍”的事後思維，構建AI鑒偽底座模型，提高鑒偽模型的泛化適用性能。

　　曹娟表示，要研究精準化對抗鑒偽技術，防範惡意逃避風險。同時，降低對無害生成內容傳播的影響，兼顧生成內容應用的發展與治理，打造全民化偽造檢測工具，推動人人可用鑒偽。

　　“可以預見，我國人工智慧安全執法將延續重點事項監管、促進產業有序發展的方向。”公安部第三研究所副所長金波說，伴隨標識管理與演算法備案、安全評估等機制逐步實現有機銜接，生成合成內容標識合規或將成為相關部門開展人工智慧監督檢查、專項行動的重點關注領域。在此進程中，如何平衡好發展與安全、創新與責任，提升執法的專業化、精細化、智慧化水準，從而培育出安全、開放、公平的人工智慧產業生態環境，還需要深入探究。

　　“此外，‘人的因素’應融入人工智慧標識管理的全過程。”金波表示，要著重提升公眾對資訊內容真實性、來源可追溯性的評估能力，積極培育公眾的人工智慧素養，確保人工智慧技術成果普惠共用。

　　在陳純看來，《辦法》的落地離不開全社會凝心聚力和協同配合。地方主管部門、高校、科研機構、企業可共同參與，形成標識工作先行的多點協同內容治理網路，推動標識工作行穩致遠。此外，有必要建立全國性的內容標識公共服務平臺，以可視可交互的實際操練形式，促進公眾和產業深入理解標識工作。

　　“生成式人工智慧促使資訊技術從普通工具屬性向‘思維夥伴’型高智慧化工具屬性進化，帶來顛覆性發展機遇，未來勢必成為我們的必備技能，這要求我們在使用時切實正確理解並管理人工智慧。”陳純說。

　　《光明日報》（2025年03月27日 15版）