في العصر الرقمي الذي نعيشه اليوم، تزداد أهمية تقييم قدرة نماذج اللغات الضخمة (Large Language Models) على اتخاذ القرارات في البيئات المعقدة. وتعد مهمة إدارة سلسلة التوريد واحدة من تلك التحديات، حيث تمثل مجموعة من المتغيرات يتعذر مراقبتها بشكل مباشر. هذا ما تم طرحه في بحث جديد بعنوان "STOCKTAKE" الذي يهدف إلى قياس الفجوة بين الإدراك والعمل لدى هذه النماذج.

***STOCKTAKE*** هو معيار جديد تم تطويره كمعيار مرجعي لقياس أداء وكيل الذكاء الاصطناعي في مهام معقدة تمتد على مدى 26 أسبوعًا. يعتمد هذا المعيار على عملية اتخاذ قرار ماركوف الجزئية التي تحتوي على ست عمليات خفية. هذه العملية تساعد على حساب سياسة مرجعية عادلة يمكن من خلالها استنتاج أداء الوكيل، متجاوزةً القيود الحالية التي تعاني منها المعايير المستخدمة.

أظهر البحث أن أربعة نماذج، وهي كل من ***Claude Sonnet 5*** و ***GPT-5.4*** و ***DeepSeek-V4-Pro*** و ***Grok 4.5***، تمكنت من اكتشاف من 84% إلى 88% من الفشل الخفي خلال فترة زمنية قصيرة. ومع ذلك، تراوحت درجات المهارة بين هذه النماذج بين 0.62 و -0.23، ما يعكس تباينًا كبيرًا في الأداء.

تم تقديم تحليل مثير للاهتمام حيث تشير النتائج إلى أن بعض النماذج، على الرغم من كونها أدنى من المستوى الأساسي، استطاعت التعرف على المشكلات بشكل أسرع. وكشفت الدراسة عن أن الفشل له وجهان: حيث يواجه الوكلاء تحديات في التقييم الدقيق لحالات الضغط، ونقص الاستجابة الفعالة. يُظهر المعيار الجديد "STOCKTAKE" الطريق للكشف عن هذه الجوانب المهمة، مما يتيح للباحثين والممارسين فهمًا أعمق لأداء نماذج اللغات الضخمة في السيناريوهات الحقيقية.

مع هذا الابتكار، نقترب خطوة نحو تطوير نماذج ذكاء اصطناعي أكثر فاعلية واستعدادًا لمواجهة التحديات الحقيقية. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.