قدّمَت شركة Anthropic وباحثون مستقلون طريقة جديدة لـقياس جانب من قدرات نماذج الذكاء الاصطناعي عانت تاريخيًا في إثبات تميزها فيه: الاستدلال في مسائل لا تمتلك إجابة واضحة وقابلة للتحقق. مؤشر الاستدلال المفاهيمي (CRI)، الذي كُشف عنه هذا الأسبوع، يجمع بين ثلاثة مقاييس منفصلة لتقييم مدى جودة تعامل النماذج اللغوية الكبيرة مع الحجج الفلسفية، والاتساق المنطقي، وألغاز نظرية القرار — وهو نوع التفكير الذي يعتقد كثير من الباحثين أنه سيصبح الأهم مع تولّي أنظمة الذكاء الاصطناعي دورًا أكبر في إدارة مخاطرها الخاصة.
Summary
أهم النقاط
- مؤشر الاستدلال المفاهيمي يجمع بين ثلاثة مقاييس — قدرات LMCA وACCoRD وDTBench — في درجة واحدة من 0 إلى 100 لقياس الاستدلال المفاهيمي للذكاء الاصطناعي.
- النموذج الأعلى أداءً، Opus 5، حصل على درجة 73.6 على مؤشر CRI، وهي أقل بكثير من السقف التقديري البالغ نحو 91.
- مجموعة بيانات LMCA تتضمن 560 نصًا لمواقف و1,461 حجة مُقيّمة من خبراء تغطي الفلسفة ونظرية القرار ومخاطر الذكاء الاصطناعي.
- الدرجات ارتفعت تقريبًا بشكل خطي منذ أواخر 2024 دون أي إشارة إلى تباطؤ.
- تم بناء المشروع بالتعاون مع Anthropic والباحثين Emery Cooper وCaspar Oesterheld.
مقدمة إلى مؤشر الاستدلال المفاهيمي (CRI)
يوجد مؤشر CRI لأن بعضًا من أهم الأعمال التي قد تقوم بها أنظمة الذكاء الاصطناعي في النهاية — مساعدة البشر على فهم مخاطر الذكاء الاصطناعي المتقدم والتخطيط لها — لا يمكن التحقق منها عبر إجابة صحيحة واضحة كما هو الحال في مسائل الرياضيات أو البرمجة. يرى مبتكروه أن العديد من المهام المرتبطة بـتخفيف مخاطر الذكاء الاصطناعي تتطلب نوعًا من الجدل يُستخدم في الفلسفة ومستقبلية الذكاء الاصطناعي أكثر من اعتمادها على التحقق التجريبي، وأن أساليب التدريب الحالية، التي تعتمد بشدة على بيانات ذات تغذية راجعة موثوقة، تميل إلى ترك النماذج أضعف تحديدًا في هذا النوع من الاستدلال.
لسد هذه الفجوة في القياس، بنى الباحثون ثلاثة مقاييس لمخاطر الذكاء الاصطناعي منفصلة ودمجوها في درجة إجمالية واحدة. مؤشر الاستدلال المفاهيمي (CRI) يجمع ثلاثة مقاييس — قدرات LMCA وACCoRD وDTBench — في رقم واحد يهدف إلى التقاط القدرة العامة للنموذج على الاستدلال المفاهيمي. المؤشر متاح للجمهور على موقع conceptualreasoning.ai، حيث تقول الفريق إنه سيواصل تحديث الدرجات والمنهجية مع ظهور نماذج ومقاييس جديدة.
هدف مؤشر CRI في إدارة مخاطر الذكاء الاصطناعي
لماذا بناء هذا المؤشر أصلًا؟ يقول الباحثون القائمون على المشروع إنه بمجرد أن تتمكن نماذج الذكاء الاصطناعي من القيام بأعمال تقليل المخاطر بمستوى خبراء بشريين، يمكن أن يتجاوز ناتج العمل المدعوم بالذكاء الاصطناعي في هذا المجال ما ينتجه البشر وحدهم بفارق كبير. وهذا يعني أن سرعة تدريب النماذج على الاستدلال الجيد حول الحوكمة والمواءمة وإخفاقات التعاون المتعلقة بالذكاء الاصطناعي قد تصبح عاملًا حاسمًا في ما إذا كانت المخاطر ستُعالَج في الوقت المناسب. يُعتبر تحسين الاستدلال المفاهيمي في نماذج الذكاء الاصطناعي مهمًا تحديدًا لأنه يستهدف تلك الفجوة — المهام التي تفتقر إلى حلقات تغذية راجعة تجريبية وبالتالي تميل إلى أن تُهمَل في التدريب القياسي.
تجميع المقاييس وتوفرها
مؤشر CRI ليس اختبارًا واحدًا — بل هو مركّب موزون. حاليًا، تمثل LMCA نسبة 60% من الدرجة، بينما تساهم قدرات ACCoRD وDTBench بنسبة 20% لكل منهما. تقول الفريق إنها تخطط لإضافة مقاييس جديدة بمرور الوقت، وإيقاف المقاييس التي تصل إلى حالة تشبّع، وربما إعادة موازنة هذه الأوزان مع تحسن النماذج.
تفصيل مكونات مقاييس مؤشر CRI
كل واحد من المكونات الثلاثة يستهدف نوعًا مختلفًا من الاستدلال يصعب التحقق منه تجريبيًا لكنه يظل قابلًا للقياس عبر حكم الخبراء أو القواعد المنطقية.
مجموعة بيانات LMCA: النطاق وتقييمات الخبراء
LMCA، وهي اختصار لـ Language Model Conceptual Argumentation، مبنية حول حجج منسّقة ومُقيّمة من خبراء تمتد عبر نظرية القرار والفلسفة ومخاطر الذكاء الاصطناعي المتقدم. مجموعة بيانات LMCA تحتوي على 560 نصًا لمواقف مقترنة بـ1,461 حجة مُقيّمة من خبراء كُتبت ضد تلك المواقف. تم تقييم معظم هذه الحجج من قبل الباحث المفاهيمي Emery Cooper، مع جزء منها مُقيّم بشكل مستقل من قبل باحث واحد آخر على الأقل، ما نتج عنه 2,140 تقييمًا إجمالًا. مجموعة تحقق تضم نحو 50 حجة تم تقييمها بشكل مستقل من قبل أربعة إلى ستة أشخاص ثم نوقشت لمدة سبع إلى ثماني ساعات إجمالًا، وهي عملية تهدف إلى تحديد مدى اتفاق البشر مع بعضهم البعض قبل مقارنتهم بمخرجات النماذج.
في الوقت الحالي، تقيس LMCA فقط مدى جودة حكم النماذج على الحجج القائمة بدلًا من توليد حجج جديدة، رغم أن الفريق يقول إنه يأمل في إضافة مقياس لتوليد الحجج لاحقًا.
ACCoRD: قياس الاتساق المنطقي في معتقدات النموذج
ACCoRD يفحص جانبًا مختلفًا: ما إذا كانت المعتقدات والتفضيلات المصرّح بها من قبل النموذج متماسكة منطقيًا. إذا ذكر النموذج احتمالًا للحدث A، ومنفصلًا عن ذلك احتمالًا لحدوث A وB معًا، فهل يحترم قواعد أساسية مثل أن تكون P(A) أكبر من أو تساوي P(A&B)؟ تحتوي مجموعة بيانات ACCoRD الكاملة على ما يقرب من 14,000 قيد اتساق مولّد من النماذج عبر 18 نوعًا من القيود، تُشغَّل عبر أداة تحقق آلية. من بين هذه القيود، تم إدخال 567 قيدًا مُتحققًا في مؤشر CRI بعد مراجعة يدوية — وهو مرشح متحفظ عمدًا يهدف إلى الإبقاء فقط على الفحوصات التي يثق بها الباحثون.
DTBench: تقييم استدلال نظرية القرار
يختبر DTBench استدلال نظرية القرار عبر 407 أسئلة اختيار من متعدد، معظمها صاغها يدويًا Caspar Oesterheld، الذي نشر أعمالًا أكاديمية في نظرية القرار، وتم التحقق منها بشكل مستقل من قبل Emery Cooper. تستكشف الأسئلة سيناريوهات تتضمن التنبؤ الذاتي والتفاعلات مع نسخ شبه مطابقة لوكيل — وهي نوع من تجارب التفكير التي طالما ناقشها منظّرو القرار. هناك 130 سؤالًا إضافيًا في حزمة DTBench الكاملة تقيس مواقف نظرية القرار لكنها استُبعدت من درجة مؤشر CRI.
نتائج أداء مؤشر CRI والاتجاهات
حتى أفضل النماذج التي تم اختبارها لا تزال بعيدة عن الدرجة التي يعتبرها المقياس قريبة من الكمال، رغم أن الفجوة تضيق بثبات.
درجات الأداء الحالية والمقارنة مع السقوف
تتراوح درجات CRI من 0 إلى 100، حيث يمثل 0 التخمين العشوائي. يقدّر الباحثون سقفًا واقعيًا بنحو 91 بدلًا من 100 كاملة، لأن تقييمات البشر نفسها تحمل بعض الضوضاء — حتى المقيمون الخبراء لا يتفقون مع بعضهم بنسبة 100%. أعلى درجة مسجّلة حتى الآن تعود إلى Opus 5، عند 73.6، مع مجال ثقة 95% يبلغ زائد أو ناقص 2.1. وهذا يترك فجوة ذات دلالة بين الأداء الأعلى الحالي والسقف التقديري، ما يشير إلى أن هناك مجالًا حقيقيًا أمام النماذج للتحسن في الاستدلال المفاهيمي قبل أن يصبح المقياس نفسه هو العامل المحدِّد.
اتجاهات تحسن أداء النماذج بمرور الوقت
ما يبرز في البيانات ليس فقط أين تقف النماذج الآن، بل مدى سرعة تقدمها. أداء النماذج يتحسن تقريبًا بشكل خطي منذ أواخر 2024، ويذكر الباحثون أنهم لا يرون أي علامة على تسطّح هذا الاتجاه. هذا الصعود المستمر مهم لكل من يحاول التنبؤ بموعد إمكانية أن تصبح أنظمة الذكاء الاصطناعي شركاء مفيدين حقًا في نوع الأعمال المعتمدة على الجدل الذي يعتمد عليه بحث أمان الذكاء الاصطناعي.
تقديرات التشبّع الخاصة بكل مقياس
ليست كل المكونات تتحرك بالوتيرة نفسها. من خلال استقراء الاتجاهات الحالية، يقدّر الباحثون بشكل تقريبي أن LMCA ستبدأ في الوصول إلى حالة تشبّع خلال نحو عام. أما DTBench، فهو قريب بالفعل من سقفه — أحد النماذج المُقيّمة، Fable 5، أجاب بشكل صحيح عن 98% من أسئلة DTBench. ACCoRD هو العامل غير المتوقع: تقول الفريق إنها غير متأكدة حقًا من موعد تشبّع هذا المقياس، لأن أخطاء الاتساق يمكن أن تستمر حتى مع تحسن القدرة الخام على الاستدلال.
أهمية مؤشر CRI وتطوره التعاوني
لماذا يهم كل هذا خارج إطار قوائم الترتيب؟ لأن القائمين على بناء مؤشر الاستدلال المفاهيمي يرون أن الاستدلال المفاهيمي مهارة عنق زجاجة في عمل مخاطر الذكاء الاصطناعي تحديدًا — ذلك النوع من العمل الذي يتضمن الاستدلال حول الحوكمة والمواءمة وإخفاقات التعاون الكارثية حيث لا توجد مجموعة بيانات لنتائج سابقة يمكن التدريب عليها. يُعتبر تحسين الاستدلال المفاهيمي في نماذج الذكاء الاصطناعي مهمًا للمساعدة في تقليل مخاطر الذكاء الاصطناعي المتقدم تحديدًا لأن الكثير من عمل تخفيف المخاطر هذا يعتمد على الجدل بدلًا من الاختبار التجريبي.
تم بناء المشروع من خلال تعاون يضم Anthropic إلى جانب الباحثين المفاهيميين Emery Cooper وCaspar Oesterheld، اللذين ساهما في تصميم مجموعة البيانات والتقييمات الخبيرة التي تشكل أساس مكوّنَي LMCA وDTBench. هذا المزيج من الدعم المؤسسي والمدخلات المتخصصة من خبراء المجال هو جزء مما يميز مؤشر CRI عن مقاييس الذكاء الاصطناعي التقليدية الأكثر تركيزًا على الرياضيات أو البرمجة أو المعرفة العامة — وهي مجالات يمكن عادةً التحقق من صحة الإجابات فيها تلقائيًا.
تُستضاف الدرجات الحية وملاحظات المنهجية على موقع conceptualreasoning.ai، كما أن الوصول إلى مجموعة بيانات LMCA الأساسية متاح عبر نموذج طلب، وهي بنية توحي بأن الفريق يريد من الباحثين الخارجيين اختبار المقياس وتحديه بدلًا من التعامل معه كمؤشر داخلي مغلق.
الأسئلة الشائعة
ما هو مؤشر الاستدلال المفاهيمي (CRI)؟
يجمع مؤشر CRI بين ثلاثة مقاييس — LMCA وACCoRD وDTBench — لقياس قدرات الاستدلال المفاهيمي لدى نماذج الذكاء الاصطناعي، منتجًا درجة واحدة من 0 إلى 100.
ما أنواع الاستدلال التي يقيمها نظام LMCA؟
يقيم LMCA النماذج في حكمها على الحجج المفاهيمية المتعلقة بالفلسفة ونظرية القرار ومخاطر الذكاء الاصطناعي، من خلال مقارنة تقييمات النماذج بتقييمات بشرية خبيرة.
كيف يختبر ACCoRD الاتساق المنطقي في نماذج الذكاء الاصطناعي؟
يقيس ACCoRD ما إذا كانت المعتقدات والتفضيلات التي يعلنها النموذج تفي بقيود الاتساق المنطقي، مثل قواعد الاحتمال الأساسية، باستخدام 567 قيدًا مُتحققًا في مؤشر CRI.
ما مدى أداء نماذج الذكاء الاصطناعي الحالية على مؤشر CRI؟
يسجل النموذج الأعلى حاليًا، Opus 5، نحو 73.6 من 100 على مؤشر CRI، مع تحسن الدرجات عبر النماذج المُقيّمة تقريبًا بشكل خطي منذ أواخر 2024 دون أي إشارة حتى الآن إلى تباطؤ هذا النمو.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”ما هو مؤشر الاستدلال المفاهيمي (CRI)؟”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”يجمع مؤشر CRI بين ثلاثة مقاييس — LMCA وACCoRD وDTBench — لقياس قدرات الاستدلال المفاهيمي لدى نماذج الذكاء الاصطناعي، منتجًا درجة واحدة من 0 إلى 100.”}},{“@type”:”Question”,”name”:”ما أنواع الاستدلال التي يقيمها نظام LMCA؟”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”يقيم LMCA النماذج في حكمها على الحجج المفاهيمية المتعلقة بالفلسفة ونظرية القرار ومخاطر الذكاء الاصطناعي، من خلال مقارنة تقييمات النماذج بتقييمات بشرية خبيرة.”}},{“@type”:”Question”,”name”:”كيف يختبر ACCoRD الاتساق المنطقي في نماذج الذكاء الاصطناعي؟”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”يقيس ACCoRD ما إذا كانت المعتقدات والتفضيلات التي يعلنها النموذج تفي بقيود الاتساق المنطقي، مثل قواعد الاحتمال الأساسية، باستخدام 567 قيدًا مُتحققًا في مؤشر CRI.”}},{“@type”:”Question”,”name”:”ما مدى أداء نماذج الذكاء الاصطناعي الحالية على مؤشر CRI؟”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”يسجل النموذج الأعلى حاليًا، Opus 5، نحو 73.6 من 100 على مؤشر CRI، مع تحسن الدرجات عبر النماذج المُقيّمة تقريبًا بشكل خطي منذ أواخر 2024 دون أي إشارة حتى الآن إلى تباطؤ هذا النمو.”}}]}
تم إعداد هذه المقالة بمساعدة الذكاء الاصطناعي ومراجعتها من قبل الفريق التحريري.
