AI 크롤러가 데이터 메뚜기가 될 때: 화약 없이 인터넷을 지키기 위한 전쟁

업데이트 날짜: 56-0-0 0:0:0

[이 기사는 작은 블랙 박스 @ 실리콘 기반 진화 연구소의 저자가 01/0에 게시했습니다. 재인쇄를 위해 출처를 표시하십시오!] 】

2025年1月，烏克蘭小公司Triplegangers遭遇了有史以來最慘烈的數位浩劫。這家僅有7人的小團隊，花了整整十年構建了全球最大的人體數位化身資料庫。想像一下，6.5萬個產品頁面，每個頁面至少三張高清3D掃描圖，從年齡、膚色到紋身、疤痕，細節標註得比你媽還瞭解你！這些數據就像數位人領域的"黃金礦脈"，遊戲開發商、影視特效團隊、醫療模擬機構，都在排隊掏錢用。

그러나 겉보기에는 평범해 보이는 토요일 아침, 설립자 Tomchuk의 전화가 갑자기 격렬하게 진동했습니다.

처음에는 디도스(DDoS) 공격이라고 생각했지만, 그가 생각했던 것보다 훨씬 더 숨이 막혔습니다: 오픈AI의 GPTBot은 3일 동안 굶주린 메뚜기 떼와 같았으며, 600개의 다른 IP 주소를 통해 초당 수백 개의 요청의 광란의 리듬으로 몇 시간 만에 웹사이트를 빨아들였습니다! 수십만 개의 이미지와 텍스트 설명이 다운로드되었고 서버가 평탄화되었으며 AWS 트래픽 요금이 급증했습니다.

더욱 아이러니한 것은 Triplegangers가 웹사이트에 "크롤링 금지" 문구만 게시했지만 실제로는 게시되지 않았다는 것입니다robots.txt문서에서 명시적으로 보호됨GPT봇。 이 재앙은 기술 방어 측면에서 중소기업의 취약성을 드러냈을 뿐만 아니라 데이터를 약탈하려는 AI 대기업의 "산적 논리"를 드러냈습니다.물리적 장벽(예: robots.txt 금지)이 없는 한, 귀하의 디지털 자산은 저의 뷔페입니다!

로봇協定

可能你看到這裡，會議指控robots協定是個啥。1994年網路爬蟲泛濫之際，荷蘭工程師Martijn Koster提出了革命性的解決方案：在網站根目錄放置robots.txt文件，通過簡單的文本指令劃定網路機器人的訪問邊界。這個純靠行業自律的機制，意外地維繫了互聯網二十餘年的秩序——從Google、Yahoo到微軟Bing，主流搜尋引擎都將遵守robots協議視為基本職業準則。

그러나 AI 시대의 도래는 이러한 암묵적 이해를 산산조각냈습니다. AI 크롤러가 모델의 데이터 요구 사항을 충족하기 위해 노력할 때, 그들 중 얼마나 많은 크롤러가 여전히 robots.txt의 경계를 존중합니까? OpenAI 및 기타 회사는 계약을 준수한다고 주장하지만 실제로는 "금지 전 허가"라는 약탈적 논리를 채택합니다.명시적으로 금지 조항을 작성하지 않는 한, 그들은 당신이 원하든 원하지 않든 상관없이 그것을 받아들일 수 있다고 가정합니다.

AI迷宮(AILabyrinth)

이 비대칭 전쟁에 직면하여 인터넷 인프라 대기업 Cloudflare는 3년 0개월 만에 살인 무기인 AI 미로(AILabyrinth)를 희생했습니다.

맞아요, 우리가 종종 실제 사람들에 의해 검증된 것을 보는 것은 Cloudflare입니다...

AI 미로는 외부의 크롤러를 가로채는 것이 아니라 크롤러를 집어넣는 전통적인 방어 아이디어를 완전히 뒤엎는 기술로, 악성 크롤러가 감지되면 시스템은 겉보기에는 합리적이지만 무가치한 콘텐츠가 포함된 무한히 중첩된 가짜 페이지를 자동으로 생성합니다. 예를 들어, 3D 모델을 잡은 크롤러는 "가상 인체 해부학 종이 라이브러리"로 유인되어 수백만 개의 AI 생성 유사 과학 문헌의 컴퓨팅 성능을 고갈시킬 수 있습니다.

그것은 마치 도둑을 위해 무한히 늘어나는 가짜 금고를 준비하는 것과 같으며, 더 깊이 파고 들수록 더 많은 진짜 보물을 찾을 수 없습니다!

기술적 하이라이트는 다음과 같습니다.