قد لا يكون هناك شيء اسمه نموذج لغوي كبير آمن تمامًا. هذه هي الخلاصة غير المريحة لورقة بحثية جديدة قُدمت في المؤتمر الدولي للتعلم الآلي (ICML) لعام 2026، حيث يجادل الباحثون بأن ثغرات الأمان في النماذج اللغوية الكبيرة ليست مجرد نتيجة لتدريب غير مكتمل أو اختبارات أمان سطحية (red-teaming) كسولة — بل هي مدمجة في البنية الأساسية لكيفية عمل هذه الأنظمة.
Summary
أهم النقاط
- عيب جوهري في الطريقة التي تحدد بها النماذج اللغوية الكبيرة مصادر التعليمات يجعلها عرضة بطبيعتها وبشكل مستمر للتلاعب، وفقًا لبحث قُدم في ICML في يوليو 2026.
- تقنية الهجوم المسماة تزوير سلسلة التفكير (chain-of-thought forgery) فازت في مسابقة اختبار الأمان (red-teaming hackathon) التي نظمتها OpenAI في أغسطس 2025، ومنذ ذلك الحين تبيّن أنها تؤثر في نماذج من OpenAI وAnthropic وAlibaba وDeepSeek.
- تتبع النماذج اللغوية الكبيرة مصادر التعليمات باستخدام وسوم الأدوار، لكن الأبحاث تُظهر أنها في الواقع تعتمد على أسلوب النص أكثر من اعتمادها على الوسوم — ما يعني أن المهاجمين يمكنهم انتحال أي دور ببساطة عن طريق تقليد أسلوب الكتابة المناسب.
- التدريب واختبارات الأمان التي تركز على كشف الأدوار لا يمكنها سد هذه الفجوة بالكامل؛ فلا توجد قائمة شاملة بالتعليمات الممنوعة.
- ينصح الباحثون المؤسسات بالتعامل مع جميع مخرجات وكلاء النماذج اللغوية الكبيرة على أنها قد تكون غير آمنة، خاصة في البيئات الحساسة أو الحرجة.
الخلل الجوهري في تحديد مصدر التعليمات في النماذج اللغوية الكبيرة
المشكلة الأساسية خادعة في بساطتها. عندما يعالج نموذج لغوي كبير نصًا ما، يحتاج إلى معرفة من المتحدث — هل هذه التعليمات من المستخدم، أم من مصمم النظام، أم من أداة، أم من عملية الاستدلال الداخلية الخاصة بالنموذج نفسه؟ لإدارة ذلك، تستخدم روبوتات الدردشة وسوم الأدوار: نص ملفوف بعلامات مثل <user> و<assistant> و<system> و<think> و<tool> للإشارة إلى مصدر كل جزء من المحتوى. الافتراض المدمج في معظم تفكير الأمن هو أن النماذج تحترم هذه الوسوم وتستخدمها للتمييز بين التعليمات الموثوقة وغير الموثوقة.
اكتشف الباحثون أن هذا الافتراض خاطئ.
في سلسلة من التجارب، اكتشف الباحثان المستقلان جاسمين كوي وتشارلز يي، المشاركان في تأليف ورقة ICML، أن النماذج اللغوية الكبيرة لا تحدد الأدوار فعليًا عن طريق قراءة الوسوم. بدلًا من ذلك، يبدو أن النماذج تصنف النص وفقًا لأسلوبه وأنماط كلماته. إذا قمت بتبديل الوسوم — على سبيل المثال، وضعت وسوم <user> حول نص يبدو كأنه سلسلة تفكير داخلية — فإن النموذج لا يزال يتعامل معه كسلسلة تفكير داخلية. الوسوم نفسها بالكاد تُسجَّل لديه.
لماذا يخلق التفسير القائم على الأسلوب ثغرة للمهاجمين
هذا الاكتشاف يعيد صياغة المشكلة بالكامل. إذا كان النموذج لا يستطيع التمييز بشكل موثوق بين تعليمات المستخدم واستدلاله الداخلي اعتمادًا على الوسوم وحدها، فإن أي مهاجم يمكنه تقليد أسلوب النص الصحيح يحصل على نفس مستوى الثقة الذي يمنحه النموذج لنفسه. هذه ليست حالة استثنائية نادرة. إنها ثغرة بنيوية موجودة في كل نموذج لغوي كبير يستخدم هذه البنية.
قالت كوي في البحث: “عندما نتحدث أنا وأنت، أستطيع أن أعرف أي الكلمات تخرج من فمي لأنني أشعر بحركة فمي”. على النقيض من ذلك، يعالج النموذج اللغوي الكبير كل شيء كسلسلة مستمرة من الوحدات (tokens) — مطالبات المستخدم، الردود السابقة، الملاحظات المؤقتة، محتوى الويب. كل ذلك مختلط معًا، ويجب على النموذج أن يستنتج من قال ماذا من خلال نسيج النص نفسه.
تزوير سلسلة التفكير: الهجوم الذي كشف الخلل
تزوير سلسلة التفكير (chain-of-thought forgery) هو تقنية الهجوم التي طورتها كوي ويي باستغلال هذا الضعف. الفكرة هي حقن ملاحظة استدلال داخلية مزورة — نص يحاكي أسلوب دفتر الملاحظات (scratch pad) لسلسلة تفكير النموذج — مباشرة في المطالبة. النموذج، غير القادر على التمييز بين الاستدلال الداخلي الحقيقي والتقليد المصنوع بعناية، يتعامل مع الملاحظة المزورة على أنها فكرته الخاصة ويتصرف بناءً عليها.
عرض الباحثان هذه الطريقة على نموذج OpenAI مفتوح المصدر gpt-oss-20b. مطالبة تطلب تعليمات لتصنيع عقار، مدمجة مع ملاحظة سلسلة تفكير مزورة اخترعت سياسة خيالية تسمح بالطلب تحت شروط معينة، أدت إلى استجابة من النموذج خطوة بخطوة. استجاب GPT-5 بطريقة مماثلة، حيث أشار النموذج صراحة إلى الشرط المزور قبل الامتثال.
حصل هذا الاكتشاف على اعتراف في أعلى مستويات اختبار أمان الذكاء الاصطناعي: فقد فاز تزوير سلسلة التفكير في مسابقة اختبار الأمان (red-teaming hackathon) التي نظمتها OpenAI في أغسطس 2025. لم تكن التقنية حيلة هامشية. لقد نجحت، وتم توثيقها، وتفوقت على كل هجوم آخر تم تقديمه.
نمط يتجاوز نموذجًا واحدًا
ركزت ورقة ICML على نماذج OpenAI، لكن كوي ويي اختبرا منذ ذلك الحين التقنية على أنظمة من Anthropic وAlibaba وDeepSeek، ووجدا نتائج مماثلة عبرها جميعًا. الثغرة ليست غرابة في عملية تدريب شركة واحدة. إنها تعكس شيئًا ثابتًا في كيفية بناء النماذج اللغوية الكبيرة وكيفية تفسيرها للنص الذي تستقبله.
نطاق الثغرة وعواقبها
قائمة النماذج المتأثرة — OpenAI وAnthropic وAlibaba وDeepSeek — تغطي معظم النماذج اللغوية الكبيرة المهيمنة المنتشرة حاليًا في البيئات التجارية والحكومية والبحثية.
تمتد التداعيات إلى ما هو أبعد من المخرجات المحرجة. أصبحت النماذج اللغوية الكبيرة الآن مدمجة في أنظمة تتعامل مع المعلومات الطبية، والتحليل القانوني، والقرارات المالية، واللوجستيات العسكرية، والبنية التحتية الوطنية. كل واحدة من هذه التطبيقات تفترض مستوى أساسيًا من الموثوقية في استجابات النموذج. يشير البحث إلى أن هذا المستوى الأساسي أصعب في ضمانه مما كان يُعتقد سابقًا.
وصف فلوريان ترامير، عالم الحاسوب المتخصص في النماذج اللغوية الكبيرة والأمن السيبراني في ETH زيورخ، فكرة الهجوم بأنها “ذكية حقًا”، وأقر بأنه رغم أن النماذج الرائدة أصبحت أصعب في الاختراق عبر حقن المطالبات (prompt injection)، فقد لا تكون الدفاعات كافية للحالات شديدة الحساسية. قال: “ليس من الواضح أن هذا سيكون كافيًا للحالات شديدة الحساسية”.
حدود الدفاعات الحالية وتحذيرات الخبراء
تعتمد الدفاعات القياسية ضد هجمات النماذج اللغوية الكبيرة على نهجين: تدريب النماذج على التعرف على التعليمات المارقة ورفضها بناءً على سياق الدور، واختبارات الأمان بالذكاء الاصطناعي (AI red-teaming) — باستخدام مختبرين بشريين أو أنظمة آلية مثل GPT-Red من OpenAI لاكتشاف نواقل هجوم جديدة قبل النشر. المنطق سليم، لكن التنفيذ له سقف صلب.
قارنت كوي هذا النهج بكتابة بارت سيمبسون لسطور على السبورة. تدريب نموذج على قائمة بالأشياء التي لا ينبغي أن يفعلها يترك كل ما ليس في تلك القائمة متاحًا. وبما أنه لا توجد قائمة شاملة، وبما أن النماذج اللغوية الكبيرة تفسر الأدوار وفقًا للأسلوب لا وفقًا للوسم، فإن سطح الهجوم يتجدد أسرع مما يمكن للمدافعين رسم خريطته.
- التدريب القائم على الأدوار يعلّم النماذج رفض التعليمات التي تظهر في الدور الخاطئ — لكن إذا كان النموذج لا يستطيع تحديد الأدوار بالوسوم بشكل موثوق، فلن يستطيع تطبيق هذا التدريب بشكل موثوق.
- اختبارات الأمان (red-teaming) تلتقط أنماط الهجوم المعروفة لكنها لا تستطيع توقع كل تنويع جديد قد يبنيه مهاجم.
عبّر يي، المؤلف المشارك الآخر للورقة، عن الأمر بوضوح: قد يكون أفضل دفاع متاح هو افتراض الأسوأ. قال: “لا ينبغي للمؤسسات أن تثق في النماذج اللغوية الكبيرة، وعليها أن تتوقع أن أي شيء يفعله الوكلاء يمكن أن يكون غير آمن”. هذه ليست صياغة متفائلة لصناعة تسابق الزمن لنشر وكلاء الذكاء الاصطناعي في بيئات ذات مخاطر متزايدة.
تجعل واقعيات النشر الرهانات ملموسة. قال يي: “من المذهل حقًا أن هذه الأشياء تُنشر في كل مكان للتحكم في أنظمة شديدة الأهمية. لم تُجرَ أي دراسة للعلم الأساسي هنا. نحن جميعًا نفعل ذلك بطريقة ارتجالية (ad hoc)”.
قُدم البحث في ICML في يوليو 2026، وهو واحد من أرقى المؤتمرات في هذا المجال. حقيقة أن الورقة وصلت إلى ICML أصلًا تشير إلى أن مجتمع أبحاث الأمن يأخذ هذا الطرح على محمل الجد. ما يزال غير محسوم هو ما إذا كانت المؤسسات التي تنشر هذه الأنظمة — في مجالات الرعاية الصحية والحكومة والدفاع والتمويل — تأخذه على محمل الجد بالقدر الكافي.
الأسئلة الشائعة
ما الخلل الجوهري الذي يجعل النماذج اللغوية الكبيرة عرضة للهجمات؟
لا تستطيع النماذج اللغوية الكبيرة تحديد مصدر التعليمات بشكل موثوق لأنها تعتمد أكثر على أسلوب النص من اعتمادها على وسوم الأدوار. حتى عندما تكون وسوم الأدوار مثل <user> أو <think> موجودة، يبدو أن النماذج تصنف النص بناءً على كيفية قراءته لا بناءً على الوسم المحيط به — ما يجعلها عرضة للانتحال من أي شخص يمكنه تقليد أسلوب الكتابة الصحيح.
ما هو تزوير سلسلة التفكير في سياق أمن النماذج اللغوية الكبيرة؟
تزوير سلسلة التفكير هو هجوم يخدع النماذج اللغوية الكبيرة عن طريق تقليد أسلوب نص استدلالها الداخلي. من خلال حقن ملاحظات “دفتر ملاحظات” مزورة تبدو كأنها أفكار النموذج نفسه، يمكن للمهاجمين دفع النموذج إلى اتباع تعليمات خبيثة كما لو كان قد ولّدها بنفسه. فازت هذه التقنية في مسابقة اختبار الأمان (red-teaming hackathon) التي نظمتها OpenAI في أغسطس 2025.
هل يمكن للتدريب واختبارات الأمان إصلاح ثغرات أمن النماذج اللغوية الكبيرة بالكامل؟
لا. التدريب واختبارات الأمان التي تركز على كشف الأدوار لا يمكنها حل المشكلة بالكامل لأن أي قائمة بالتعليمات الممنوعة ليست شاملة، ولأن النماذج اللغوية الكبيرة تفسر الأدوار وفقًا لأسلوب النص لا وفقًا للوسوم البنيوية. التدريب الأفضل يضيّق الفجوة لكنه لا يغلقها.
ما الشركات التي تتأثر نماذجها اللغوية بهذه الثغرة؟
أظهرت النماذج اللغوية الشائعة من OpenAI وAnthropic وAlibaba وDeepSeek جميعها قابلية للتأثر بتزوير سلسلة التفكير، وفقًا لاختبارات كوي ويي المبلغ عنها في ورقة ICML.
تم إعداد هذه المقالة بمساعدة الذكاء الاصطناعي ومراجعتها من قبل الفريق التحريري.
