IT之家 3 月 21 日消息,網路服務商 Cloudflare 當地時間本月 19 日發佈了一項名為 AI Labyrinth 的有趣功能:利用 AI 生成內容以非禁止的方式干擾不遵守“禁止爬取”聲明的 AI 爬蟲和其它惡意內容爬取機器人。
IT之家注:Labyrinth 一詞的含義即“迷宮”。
根據 Cloudflare 的觀察,直接硬性禁止惡意爬蟲容易激起爬取和反爬兩方無休止的“軍備競賽”,與其陷入一場漫長的對抗中不如讓爬蟲“以為”得到了真實的內容實際上卻一無所獲。
AI Labyrinth 的具體運作方式是在頁面中設置人類消費者無法看到或點擊的隱藏連結,僅有惡意爬蟲才會注意到它們。而這些連結指向一系列由 AI 生成的頁面,爬蟲的時間和資源會浪費在這些非真實網站中。
這一功能也意味僅有惡意 AI 爬蟲才會陷入到 AI Labyrinth 編織的內容迷宮中,Cloudflare 能更好了解這些爬蟲的行為特徵,從而為機器人識別提供數據基礎。
Cloudflare 表示 AI Labyrinth 向包括免費客戶在內的全部消費者提供。