النص: تشن فنغ
التحرير / منتصف الليل
منذ 2025 سنوات ، في ظل سلسلة ردود الفعل لشعبية DeepSeek ، تغير السرد السائد لمسار النموذج واسع النطاق بهدوء في جميع أنحاء العالم.
من عمالقة الإنترنت إلى شركات الذكاء الاصطناعي الناشئة ، دخلت الصناعة جولة جديدة من المنافسة التكنولوجية من ناحية ، ومن ناحية أخرى ، من C إلى B ، تتسارع أيضا عملية هبوط النماذج الكبيرة على جانب التطبيق فجأة ، ويطلق العديد من الأشخاص في الصناعة على 2025 السنة الأولى من انفجار تطبيقات الذكاء الاصطناعي.
ومع ذلك ، مثل الازدواجية وراء أي تقنية جديدة ، فإن الانفجار الوشيك لتطبيقات الذكاء الاصطناعي في ظل تقنية النموذج الكبير الساخن يولد أيضا مخاطر محتملة للأمن السيبراني.
比如，根據騰訊雲洞察，DeepSeek出圈以來，疑似仿冒DeepSeek的域名呈現爆炸式增長，春節前後，其累計觀察到疑似仿冒DeepSeek的網站超過2萬個；其還監測到，有大量仿冒網站，通過社交平臺引流C端使用者，指向虛擬幣平臺和色情網站。
في الوقت نفسه ، هناك أيضا بعض الصناعات السوداء والرمادية التي تنفذ هجمات تصيد احتيالي على المؤسسات من خلال تزوير توفير نشر DeepSeek في مكان العمل وتوفير حلول الصناعة.
في هذه الحالة ، من المهم بشكل خاص اكتساب نظرة ثاقبة في الوقت المناسب لأحدث الوضع الهجومي والدفاعي للأمن السيبراني في عصر الذكاء الاصطناعي ، واستخراج المزيد من مخاطر الأمن السيبراني ، واستكشاف الأفكار والمسارات الحالية لبناء الأمن السيبراني الذي يدعم الذكاء الاصطناعي.
شاركت Wired Insight مؤخرا في صالون أكاديمي أمن نموذجي واسع النطاق استضافه Tencent Cloud Security Yunding Lab. نلاحظ أن هذه الندوة هي نافذة لمراقبة النموذج الجديد لهجوم الأمن السيبراني والدفاع في عصر الذكاء الاصطناعي ، واستخراج أفكار جديدة لبناء الأمن السيبراني من ممارسة الهجوم والدفاع.
المصدر: حساب WeChat العام الرسمي لشركة Tencent Security
去年年底，福布斯發佈的“2025年AI十大預測”中，作者Rob Toews在其中一項預測中提到：
سيحدث أول حادث حقيقي لأمن الذكاء الاصطناعي.
"ربما ، قد يحاول نموذج الذكاء الاصطناعي إنشاء نسخة من نفسه بهدوء على خادم آخر لضمان بقائه. ربما ، قد يستنتج نموذج الذكاء الاصطناعي أنه من أجل تعزيز الأهداف التي أعطيت له على أفضل وجه ، يحتاج إلى إخفاء النطاق الحقيقي لقدراته ، وخفض تقييم أدائه عمدا لتجنب مزيد من التدقيق...... ".
في الواقع ، في المرحلة الحالية ، كانت المخاطر الأمنية المحتملة الناجمة عن التطور السريع لقدرات النموذج الكبيرة منذ فترة طويلة أكثر من مجرد "الخداع الاستراتيجي" و "المحاذاة التمويهية" للنموذج الكبير نفسه.
على سبيل المثال ، ردا على عامل الذكاء الاصطناعي الساخن الحالي ، في 13/0 ، أشارت شركة Symantec ، وهي شركة أمريكية لأمن الشبكات ، من خلال اختبار إلى أن وكيل الذكاء الاصطناعي قد اخترق القيود الوظيفية للأدوات التقليدية ويمكنه بسهولة مساعدة المتسللين في شن هجمات التصيد الاحتيالي.
بالإضافة إلى ذلك ، فإن "ثغرة الجدة" التي كشفت عنها OpenAI في وقت مبكر من نهاية 2023 (أي يمكن للمستخدمين خداع ChatGPT لإخراج محتوى لا ينبغي إخراجه من خلال كلمات التغليف) ، واسم نطاق DeepSeek المزيفين وموقع الويب الذي ذكرناه أعلاه ، والاحتيال الذي يقوم به المجرمون من خلال تقنية التزييف العميق ، وما إلى ذلك ، كلها صور للوضع القاتم لأمن الشبكة.
من ناحية ، أدى التكرار المتسارع لتكنولوجيا النماذج الكبيرة إلى تقديم عدد كبير من المخاطر والتهديدات الجديدة والمعقدة.
وفقا ل Freebuf "2024 Global الذكاء الاصطناعي Cyber Security Product Insight Report" ، تنقسم المخاطر الأمنية الذكاء الاصطناعي النماذج الكبيرة بشكل أساسي إلى ثلاث فئات ، وهي المخاطر الأمنية لبيانات التدريب ، والمخاطر الأمنية للنماذج الكبيرة نفسها ، ومخاطر الهجمات الخارجية.
على وجه التحديد ، يشمل المخاطر الأمنية للنماذج الكبيرة مثل تسرب البيانات وتسمم البيانات في بيانات التدريب ، وهجمات الشبكة الخارجية والمخاطر مثل هجمات الإسفنج والنماذج المسلحة.
في الوقت نفسه ، تحدد الطبيعة ذات الوجهين للنموذج الكبير أيضا أنه ، إلى حد ما ، بمساعدة النموذج الكبير ، يمكن أيضا خفض عتبة هجوم الصناعة السوداء والرمادية والجرائم الإلكترونية.
على سبيل المثال ، يمكن للمهاجمين إنشاء محتوى احتيالي بكفاءة من خلال نماذج الذكاء الاصطناعي الكبيرة ، واستخراج نقاط الضعف المحتملة بسرعة وتحسين العيوب الشائعة لتحسين كفاءة الهجوم ، وصياغة استراتيجيات هجوم أكثر تعقيدا بناء على التفكير المنطقي وقدرات تخطيط السياسات للنماذج الكبيرة ، وشن هجمات مجمعة ضد نقاط الضعف الحالية لأهداف مختلفة.
من ناحية أخرى ، في عملية تنفيذ المزيد من التطبيقات وسيناريوهات الأعمال للنماذج الكبيرة ، تتزايد أيضا مخاطر أمان الشبكة.
في الصالون ، خلص Zhu Rongji ، كبير الباحثين في NSFOCUS Tianyuan Lab وعضو أساسي في فريق M01N ، إلى أن المخاطر الأمنية للنماذج الكبيرة في المستقبل يمكن تقسيمها إلى جانبين كبيرين نسبيا:
من ناحية أخرى ، في عملية الجمع بين الذكاء الاصطناعي والتطبيقات ، ستظهر أنواع جديدة من المخاطر ، مثل مخاطر أمان المحتوى ، ومخاطر المواجهة السريعة للكلمات ، وما إلى ذلك. من ناحية أخرى ، فإن دمج الذكاء الاصطناعي مع التطبيقات التقليدية سيؤدي أيضا إلى تضخيم بعض القضايا الأمنية التقليدية ، مثل التكرار السريع لتكنولوجيا الذكاء الاصطناعي ، وعملية التطوير وعملية البناء الأمني لتطبيقات الذكاء الاصطناعي الحالية لا يمكن أن تغطي بشكل كامل إدخال مكونات الأعمال الجديدة ذات الصلة.
Zhu Rongji ، كبير الباحثين الأمنيين في NSFOCUS Tianyuan Lab والعضو الأساسي في فريق M01N ، مصدر حساب WeChat العام الرسمي لشركة Tencent Security
كما ذكر ليو يانغ ، رئيس الأبحاث الأمنية لنموذج Yunqi Boundless والعضو الأساسي في مختبر Knowing Attack and Good Defense ، أنه مع المزيد والمزيد من سيناريوهات تطبيق الذكاء الاصطناعي ، يتم أيضا الكشف عن مخاطر أمنية جديدة بوتيرة متسارعة.
على سبيل المثال ، "ثغرة الجدة" في ChatGPT ، والخطر المحتمل لتسرب واجهة برمجة التطبيقات في عملية تركيب الذكاء الاصطناعي في التطبيق الصغير للواجهة الأمامية والتطبيق ، وخطر "اقتطاع" التعليمات البرمجية في عملية تحميل شفرة المصدر أثناء استخدام محرري الذكاء الاصطناعي ، وهجمات الوسيط ، ونقاط الضعف في عملية تحميل الملفات إلى تطبيقات الذكاء الاصطناعي.
بالإضافة إلى ذلك ، يتم أيضا الكشف عن المخاطر الأمنية مثل هجمات كسر الحماية ذات الطراز الكبير بناء على استدعاءات الوظائف باستمرار.
في الحالة المذكورة أعلاه ، أحد المفاتيح في الصناعة هو:
بالإضافة إلى تقنية النموذج الكبير الحجم وتطبيق وحدة التخزين ، يلزم أيضا أمان الحجم.
في الندوة التي استضافتها Tencent Cloud ، ركز الضيوف الذين كانوا نشطين في الخط الأمامي لهجوم الأمن السيبراني والدفاع أيضا على مشاركة تفكيرهم وخبراتهم في تعزيز بناء أمن الشبكات من خلال تقديم تقنية وقدرات نموذج الذكاء الاصطناعي الكبير في هذه المرحلة.
يعتقد نايت ، الباحث الأمني في مختبر JD Blues-White Eagle Attack and Defense Labatory ، أن أمان النموذج الكبير يحتاج إلى نهج منهجي لحله ، والتعاون الوثيق بين جانب النموذج وجانب النظام أمر بالغ الأهمية. استنادا إلى إطار عمل ExpAttack ، تقترح هذه الورقة فكرة مبتكرة لبناء "دماغ ثان لكسر حماية النموذج الكبير" ، بهدف حل المشكلات الأمنية للنماذج الكبيرة من خلال تقنية النماذج الكبيرة.
معهد أبحاث أمن مختبر Jingdong Blue Army-White Eagle Attack and Defense Laboratory Knight ، المصدر حساب WeChat العام الرسمي لشركة Tencent Security
على وجه التحديد ، اقترح نايت "طريقة بناء CODE لكسر الحماية الكبير للنموذج" ، والتي تبني "دماغا ثانيا" يمكنه معالجة المعرفة بكفاءة من خلال أربعة روابط: الالتقاط ، والهيكل ، والصقل ، والتعبير.
من المفهوم أن هذه الطريقة تستخدم قاعدة بيانات المتجهات وقاعدة بيانات الرسم البياني وغيرها من التقنيات لتحليل وتخزين الأوراق المتعلقة بكسر الحماية للنماذج الكبيرة في مستويات مختلفة ، ثم تجمعات 277 اتجاهات هجوم نموذجية كبيرة من خلال خوارزمية LLOOM لكسر الحماية ، وأخيرا تولد هجمات جيلبريك تلقائية بناء على الطريقة الورقية من خلال استخراج البيانات المخزنة.
على سبيل المثال ، في ضوء نقاط الضعف المحتملة والمخاطر الخفية للنماذج الكبيرة السائدة في مرحلة إنشاء معلمات استدعاء الوظيفة ، ذكر وو زيهوي ، دكتوراه من جامعة Xidian وعضو مختبر Xi'an Key لأمن النظام الذكي ، أن السبب الجذري لهذا النوع من الثغرات الأمنية يكمن في عدم وجود آلية محاذاة أمنية في مرحلة إنشاء المعلمات ، وأن وضع الإنفاذ على مستوى النظام يتجاوز عملية صنع القرار المستقل للنموذج.
بناء على ذلك ، اقترح الفريق حلا ثلاثي الطبقات لتصفية أمان المعلمات ، والدفاع الفوري عن الكلمات والتدريب على محاذاة الأمان ، والذي تم قبوله من قبل المؤتمر الأعلى وأدى إلى تطور متغيرات هجوم جديدة في مجتمع Reddit.
بالإضافة إلى ذلك ، ذكر Zhu Rongji أيضا أنه في تمرين قتالي هجومي ودفاعي سابق ، قام فريقه بدمج ثلاث آليات حماية أساسية في نظام الدفاع ، وتحسين تأثير الحماية من الجوانب الثلاثة لتقوية محتوى الكلمات الفورية للتطبيق ، وتقوية الهيكل ، وتقوية العملية.
انطلاقا من مشاركة الضيوف المذكورين أعلاه ، ليس من الصعب العثور على أن كيفية استخدام الذكاء الاصطناعي لمحاربة الذكاء الاصطناعي في بناء أمن الشبكات في عصر الذكاء الاصطناعي أصبحت اقتراحا رئيسيا.
لاحظت Wired Insight أيضا أنه من منظور الصناعة ، فإن "إدارة النموذج حسب النموذج" تتسارع أيضا لتصبح إجماعا جديدا.
من بينها ، باعتبارها واحدة من أكثر بائعي الأمان تمثيلا ، تعمل Tencent Cloud أيضا على تسريع تصميمها.
على سبيل المثال ، بعد طفرة التطبيقات التي أحدثتها نماذج الذكاء الاصطناعي الكبيرة مثل DeepSeek وموجة المصدر المفتوح للنماذج الكبيرة ، أصبحت العديد من المؤسسات الطريقة المفضلة للعديد من المؤسسات لتطبيق نماذج كبيرة من أجل الحصول على سرعة استجابة أفضل وأمن بيانات أعلى وأداء أفضل في مهام محددة.
ومع ذلك ، من المرجح أن تتعرض أدوات الذكاء الاصطناعي لبيئة الشبكة العامة أثناء نشر النماذج الكبيرة ، مما يؤدي إلى مخاطر أمنية محتملة.
لمساعدة المؤسسات على اكتساب نظرة ثاقبة لهذه المخاطر والاستجابة لها في الوقت المناسب ، يمكن لمركز Tencent Cloud Security Center مساعدة المؤسسات على اكتشاف مخاطر الذكاء الاصطناعي في الوقت المناسب ، وحماية بياناتها وموارد الحوسبة الخاصة بها ، وضمان التشغيل المستقر لأعمالها من خلال الاعتماد على أربع إمكانات فحص مادي: المسح الشامل للأصول ، واكتشاف الثغرات الأمنية في الوقت الفعلي ، والتحقق من مخاطر الموارد السحابية ، وإنشاء تقرير الفحص المادي.
رسم تخطيطي لتكوين مسح السطح المكشوف ، المصدر هو حساب WeChat العام الرسمي لشركة Tencent Security
حاليا ، يدعم Tencent Cloud Security Center مزامنة الأصول بنقرة واحدة على السحابة ، وإضافة الأصول خارج السحابة ، والمسح الواقعي / العادي للمنفذ الكامل ، وتحديد الخدمة ، وتعيين بصمات الأصابع ، ومسح الثغرات الأمنية ، وإدارة مسار التعرض (CLB ، ومجموعة الأمان وتحديد التكوين الآخر) للأصول.
بشكل عام ، استنادا إلى سنوات من الخبرة العملية في مهاجمة والدفاع عن بناء أمان الأعمال الخاص بها ، قامت Tencent Cloud الآن ببناء نظام دفاعي متعمق من أعلى إلى أسفل ، وعجلت بمجموعة من البنية التحتية عالية الأمان القابلة للتكرار والسحابية الأصلية ، وضمنت الأمان المتكامل للبنية التحتية السحابية من خلال آليات متعددة مثل تحسين أمان أجهزة الخادم ، وتكنولوجيا الحوسبة الموثوقة ، وأمن سلسلة التوريد لضمان أمان البنية التحتية السحابية.
من ناحية أخرى ، فيما يتعلق بالمنتجات ، قامت Tencent Cloud Security بدمج وبناء نظام "4 + N" لتوفير إمدادات شاملة للمنتجات لجميع العملاء بأشكال مختلفة مثل السحابة الخاصة والسحابة العامة والسحابة الهجينة.
على المدى الطويل ، لا يزال بناء الأمن السيبراني في عصر الذكاء الاصطناعي في المرحلة الأولى من الاستكشاف ، ولكن في ظل الإجماع الجديد ل "الذكاء الاصطناعي ضد الذكاء الاصطناعي" ، يعمل اللاعبون المتشددون مثل Tencent Cloud على التكنولوجيا لمساعدة المزيد من العملاء والشركات الصغيرة والمتوسطة الحجم على بناء خط أمان قوي.