“考試和分數不應該是學生生活的全部。除了分數,我還可以去關心窗前第一排柳芽的萌動;去欣賞天上金黃的滿月,讓後羿嫦娥、吳剛玉兔的傳說在心中流過;去盛裝的西湖邊騎行,淋一點小雨,吹無數的風……可是,家長的教誨又讓人無法反駁:‘你知道嗎,中考差一分,就是一個操場的人!’
這,就是我的煩惱。 ”
以上這段文字是AI生成的,還是人寫的?
我問了7個人,有5個認為由AI生成,主要理由是“辭藻堆砌”。
AI通用模型的文本生成能力持續進階,已經到了人無法準確辨別的程度,因此,其不當使用可能帶來的虛假新聞、學術不端行為、惡意產品評價等問題引起社會高度關注。
據公安部網路安全域官方公眾號,因使用AI捏造“頂流明星在澳門輸了10億”的謠言,一名男子被處以行政拘留8日。據介紹,3月10日,線民徐某強為博流量、謀取非法利益,使用軟體“某書”中AI智慧生成功能,輸入熱點詞,製作“頂流明星被曝境外豪賭輸光十億身價引發輿論海嘯”的謠言資訊並在網上發佈,造成謠言迅速擴散,引發大量網民議論,誘發相關謠言、話題等頻繁登上熱搜熱榜,嚴重擾亂公共秩序。
2023年2月16日,“杭州市政府3月1號取消機動車依尾號限行”的“新聞”瘋傳。據浙江之聲報導,當天杭州某社區業主群討論ChatGPT,一位業主開玩笑說嘗試用它寫“杭州取消限行”的“新聞”,在群裡直播了用ChatGPT寫作的過程,並把文章發在群裡,其他業主不明就里,截圖轉發。
人工智慧、人類智慧——面對一個文本,該如何鑒別其“真偽”?
3月24日,西湖大學自然語言處理實驗室的博士生鮑光勝團隊研發的AI應用程式Fast-DetectGPT,將開頭那段“我的煩惱”的文字輸入,程式很快給出判斷結果:由AI生成的概率為19%。
它說對了,這段文字摘自杭州一名七年級學生的作文。
Fast-DetectGPT頁面截圖
文本究竟是人腦構思的,還是電腦生成的?或許人難以判斷,但它能夠被判斷——鑒別者可以是AI自己。這是研究者的思路。
Fast-DetectGPT在開源模型GPT-Neo 2.7B上運行,無需訓練即可識別各種AI大語言通用模型生成的文字內容,對GPT3.5、GPT4生成的文字,識別率分別達到96%、90%。與斯坦福大學2023年提出的DetectGPT相比,檢測速度提高340倍,識別錯誤率降低75%。去年,以鮑光勝為第一作者、西湖大學工學院副院長張岳教授為通訊作者的相關論文在深度學習領域頂級會議——2024國際表徵學習大會上發表。
張岳2003年畢業於清華大學計算機科學專業,此後在牛津大學獲得該專業碩士、博士學位,在劍橋大學從事博士後研究,現為西湖大學終身教授,主要研究自然語言處理、文本挖掘、機器學習和人工智慧。鮑光勝是他的博士生,曾在微軟(中國)、阿裡巴巴工作多年,三年前進入西湖大學。今年,他們關於Fast-DetectGPT的私有大模型擴展Glimpse的論文已被4月將在新加坡舉行的2025國際表徵學習大會收錄。
澎湃新聞:對於AI生成的文本,目前主流的識別方法有哪些?
張岳:主要有監督分類器法、零樣本分類器法、浮浮浮浮水印法。使用監督分類器法要收集大量已知數據,包括AI生成文字和人類創作文本,做分類學習。對訓練時見過的大語言模型生成的文本,它的識別準確率較高;但遇到未見過的模型生成的文本,識別準確率下降。
Fast-DetectGPT、DetectGPT屬於零樣本分類器法,無需收集數據進行訓練,主要通過AI文本的特徵來“找同類”。
浮浮水印法是在生成AI文本時打上“水印”。國家互聯網信息辦公室、工信部、公安部、國家廣電總局已發佈《人工智慧生成合成內容標識辦法》,將於9月起實施,要求相關服務提供者對生成合成內容添加顯式標識,或在生成合成內容的檔元數據中添加隱式標識,就屬於此類。這種方法的準確率高,但存在標記被人為弱化甚至移除的風險。
澎湃新聞:Fast-DetectGPT的工作原理是什麼?
鮑光勝:簡單地說, AI更懂AI,Fast-DetectGPT“認出”了同類。
所謂“生成”文本,就是機器通過上文來選擇下文,選擇依據是詞彙、句式等在其學習的數據集中的使用概率,概率越大,越可能被選中——可以想像一下搜尋引擎中跳動的下拉提示框。
Fast-DetectGPT的工作基於一個前提:人類和AI通用模型在文本形成中有不同的選擇。人類寫文章時的選擇比較多樣,個體間的差異大;而不同AI通用模型間的差異不明顯——因為在語料庫上預訓練的通用模型反映的是人類作為集體的寫作行為,生成文本時也傾向於選擇有更高模型概率的詞彙、句式。因此,兩種文本在詞彙使用、句子結構、語法複雜度、語義連貫性等方面有不同,我們提取覆蓋這些區別特徵的統計量“條件概率曲率”,分析它們在兩類文本的分佈,當被測文本的統計特徵值主要落在AI生成文字的分佈中,則大概率為AI生成的。
不妨這樣理解:作為AI,Fast-DetectGPT面對被測文本,先在不改變原意的情況下改寫,再將自己的文本與被測文本對比,如果被測文本是AI寫的,相似性會比較顯著。
張岳:人類的思考是因果性的——它來自於行為及其反饋、後果、互動等,而通用模型的思考偏向統計性。寫文章,AI的寫法是學習現有數據,根據詞與詞之間“共現性”的概率高低等來選擇下文,缺少“泛化性”,也就是將在訓練數據集中所習,通過背後的因果邏輯“舉一隅反三隅”,應用到別處,從而獲得分佈以外的泛化性。這與創造性的人類寫作有很大區別。
西湖大學工學院副院長張岳教授(右)和他的博士生鮑光勝。受訪者供圖
澎湃新聞:那麼,“阿爾法圍棋”(AlphaGo)為什麼能屢屢下出人類想不到的招數?而且2016年韓國李世石九段在番棋戰中僅有的一局中盤勝是人類的“最後一勝”,那以後再也沒有贏過AlphaGo?
張岳:圍棋的變化近於無窮,但結果只有兩種,或勝或負(和局極其偶然),弈棋規則也很明確。在這種情況下,AI程式的“算力”得以充分發揮,AlphaGo在訓練中學習了幾萬份專業棋手的對弈棋譜,還進行了三千萬盤自我對決。而保持高強度比賽狀態的世界頂尖棋手,平均每年的職業對局不超過一百盤,即使加上訓練對局、打譜,其數量也完全不在同一量級。
AlphaGo沒有心理波動,這也是它在人機對弈中的優勢之一,但寫作中最可貴的可能就是情感、是“心理波動”。另一方面,“寫得好”也沒有邊界,不存在止境,無法枚舉。
澎湃新聞:Fast-DetectGPT檢測DeepSeek-v3生成文字的準確率達到89%,對DeepSeek-R1的檢測準確率則較低。我們看到,類似R1的推理模型正成為大模型發展的新方向,Fast-DetectGPT會有什麼優化和改進?
張岳:R1通過較長的推理鏈進行思考和規劃,生成的文字內容與此前通用模型的輸出分佈有差異。我們猜測,這可能是R1在強化學習,探索新的推理路徑時產生了分佈變化,使現有檢測器的工作難度增加。
目前的Fast-DetectGPT演示版使用的是開源小語言模型GPT-Neo 2.7B,說它“小”,是因為模型的參數只有27億個。如果使用更強的模型,比如671B的滿血版DeepSeek-R1,理論上識別準確率就會更高。
技術總是雙刃劍,模仿、鑒別會是持久的“攻防戰”。作為Fast-DetectGPT的私有大模型擴展,Glimpse可以檢測26種語言的文字,並有更高的識別準確率。總的說,AI模型生成的文本會越來越逼真,但人類使用AI程式對文本進行識別的能力也將越來越強大。