عندما لا يجب على القاضي أن يقرر: حدود تقييم اختيارات نموذج لغة جديد تكشف عن عيوب في تدفقات التفكير

في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغات الضخمة (Large Language Models) أداة حيوية في تحليل المعلومات واتخاذ القرارات. ومع ذلك، تظهر دراسة جديدة نشرت على منصة arXiv أن القاضي المُستخدم في تدفقات التفكير ليس فقط قياسًا للجودة، بل هو أيضًا من يُحدد الإجابة الفائزة. تكشف الدراسة أن تكلفة القرار تعتمد بشكل أقل على دقة القاضي، بل على قاعدة اتخاذ القرار التي يعتمد عليها في عمله.

تم استعراض بيانات من أربعة من سياسات إدارة الموارد العامة (GRPO) لفهم ديناميكيات الأداء. وأنه في حالة استخدام قاضي غير مُقيد مثل DeepSeek-R1-7B، فإن التحسن في النتائج يكون ضئيلاً، حيث تقدم الأداة تحسنًا طفيفًا بنسبة 1% فقط في 500 سؤال من مجموعة GSM8K، و0.34 نقطة في 300 سؤال من HotpotQA.

ومع ذلك، عند دمج القاضي مع قاعدة جديدة تُسمىEvidence-Locked Derive-Gate-Repair (EL-DGR)، يتحسن الأداء بشكل ملحوظ دون الحاجة إلى تغيير أي من مكونات النظام. حيث حققت EL-DGR نتائج تصل إلى 58.2% على GSM8K، مقارنةً بـ 56.8% للقاضي المتواجد و55.8% للتصويت بالأغلبية.

وبذلك، تؤكد الدراسة على ضرورة إدارة حدود أداء القاضي بدلاً من السعي فقط نحو زيادة دقته. يثبّت القاضي ضمن EL-DGR فقط على ثمانية من بين ثلاثين سؤالًا تجريبيًا، ولا يحوّل أبدًا توافقًا صحيحًا إلى إجابات خاطئة. بينما كان لبعض العناصر المستخدمة في التدريب تأثير ضئيل، مما يوحي بأن هناك حاجة إلى تجديد استراتيجيات تطوير نماذج الذكاء الاصطناعي، بما يضمن تحسين النتائج مع تقليل المخاطر.

هل تعتقد أن هذه القواعد الجديدة ستحدث ثورة في طريقة اتخاذ القرارات باستخدام نماذج اللغات الضخمة؟ شاركونا آراءكم في التعليقات!