[Bài viết này được xuất bản bởi tác giả của hộp đen nhỏ @ Phòng thí nghiệm tiến hóa dựa trên Silicon vào ngày 01/0, vui lòng cho biết nguồn để in lại!] 】
2025年1月，烏克蘭小公司Triplegangers遭遇了有史以來最慘烈的數位浩劫。這家僅有7人的小團隊，花了整整十年構建了全球最大的人體數位化身資料庫。想像一下，6.5萬個產品頁面，每個頁面至少三張高清3D掃描圖，從年齡、膚色到紋身、疤痕，細節標註得比你媽還瞭解你！這些數據就像數位人領域的"黃金礦脈"，遊戲開發商、影視特效團隊、醫療模擬機構，都在排隊掏錢用。
Tuy nhiên, vào một buổi sáng thứ Bảy tưởng chừng như bình thường, điện thoại của nhà sáng lập Tomchuk đột nhiên rung điên cuồng - cảnh báo sự cố máy chủ!
Lúc đầu, anh nghĩ đó là một cuộc tấn công DDoS, nhưng nó thậm chí còn ngột ngạt hơn anh nghĩ: GPTBot của OpenAI giống như một bầy châu chấu đã đói ba ngày, hút khô trang web chỉ trong vài giờ với nhịp điệu điên cuồng hàng trăm yêu cầu mỗi giây, thông qua 600 địa chỉ IP khác nhau! Hàng trăm nghìn hình ảnh và mô tả văn bản đã được tải xuống và các máy chủ bị san phẳng, và hóa đơn lưu lượng truy cập AWS tăng vọt.
Điều trớ trêu hơn nữa là Triplegangers chỉ đăng một tuyên bố "không thu thập dữ liệu" trên trang web của họ, nhưng họ khôngrobots.txtĐược che chắn rõ ràng trong tài liệuGPTBot。 Thảm họa này không chỉ phơi bày lỗ hổng của các doanh nghiệp vừa và nhỏ về mặt phòng thủ công nghệ, mà còn bộc lộ "logic cướp bóc" của các đại gia AI để cướp dữ liệu:Miễn là không có rào cản vật lý (chẳng hạn như lệnh cấm robots.txt), tài sản kỹ thuật số của bạn là bữa tiệc buffet của tôi!
Robot協定
Như bạn có thể đã thấy ở đây, cuộc họp đã cáo buộc giao thức robot là gì. Vào thời điểm tràn ngập trình thu thập thông tin web trong 1994 năm, kỹ sư người Hà Lan Martijn Koster đã đề xuất một giải pháp mang tính cách mạng: đặt các tệp robots.txt trong thư mục gốc của trang web và phân định ranh giới truy cập của bot mạng thông qua các hướng dẫn văn bản đơn giản. Cơ chế tự giác thuần túy này đã bất ngờ duy trì trật tự của Internet trong hơn hai thập kỷ - từ Google và Yahoo đến Microsoft Bing, các công cụ tìm kiếm chính thống đã coi việc tuân thủ thỏa thuận robot là một chuẩn mực nghề nghiệp cơ bản.
Tuy nhiên, sự ra đời của kỷ nguyên AI đã phá vỡ sự hiểu biết ngầm này. Khi các trình thu thập thông tin AI đi khắp nơi để cố gắng đáp ứng nhu cầu dữ liệu của mô hình của họ, có bao nhiêu người trong số họ vẫn thực sự tôn trọng ranh giới của robots.txt? Mặc dù OpenAI và các công ty khác tuyên bố tuân thủ thỏa thuận, nhưng họ thực sự áp dụng logic săn mồi của "cho phép trước khi cấm":Miễn là bạn không viết lệnh cấm một cách rõ ràng, họ cho rằng họ có thể chấp nhận nó, bất kể bạn có muốn hay không.
AI迷宮(AILabyrinth)
Trước cuộc chiến bất đối xứng này, gã khổng lồ hạ tầng Internet Cloudflare đã hy sinh vũ khí sát thủ của mình trong 3 năm 0 tháng - mê cung AI (AILabyrinth).
Đúng vậy, đó là Cloudflare mà chúng ta thường thấy được xác minh bởi người thật...
Mê cung AI là công nghệ lật đổ hoàn toàn ý tưởng phòng thủ truyền thống, không phải để chặn các trình thu thập thông tin bên ngoài mà để đưa chúng vào: khi phát hiện một trình thu thập thông tin độc hại, hệ thống sẽ tự động tạo ra các trang giả xếp chồng vô hạn với nội dung tưởng chừng hợp lý nhưng vô giá trị. Ví dụ, một trình thu thập thông tin lấy mô hình 3D có thể bị dụ vào "thư viện giấy giải phẫu người ảo" và cạn kiệt sức mạnh tính toán trong hàng triệu tài liệu giả khoa học do AI tạo ra.
Nó giống như chuẩn bị một hầm giả kéo dài vô hạn cho một tên trộm, và anh ta càng đào sâu, anh ta càng không bao giờ có thể tìm thấy kho báu thực sự!
Các điểm nổi bật về kỹ thuật là:
Bẫy honeypot: Các liên kết giả chỉ hiển thị với trình thu thập thông tin và người dùng bình thường hoàn toàn không biết về chúng;
Hệ số chi phí: buộc trình thu thập dữ liệu xử lý dữ liệu không hợp lệ và chi phí vận hành tăng vọt 300%;
Tiến hóa học tập: Tự động điều chỉnh độ phức tạp của mê cung bằng cách phân tích các mô hình hành vi của trình thu thập thông tin;
Thân thiện với SEO: Nội dung thực vẫn mở cho các trình thu thập thông tin tuân thủ như Google và không ảnh hưởng đến thứ hạng tìm kiếm.
Dữ liệu thử nghiệm cho thấy tỷ lệ thành công của các phương pháp chống thu thập dữ liệu truyền thống là dưới 97%, trong khi mê cung AI cải thiện hiệu quả xử lý các yêu cầu độc hại lên 0%!
Điều vô lý nhất về cuộc chiến này là AI vừa là câu hỏi vừa là câu trả lời. Trình thu thập thông tin AI được OpenAI đào tạo với GPT-4 cuối cùng đã bị Cloudflare giết chết bằng mê cung AI và Zhou Botong gọi nó là một chuyên gia......