في عالم يتطور بسرعة حيث تُستخدم نماذج اللغات الضخمة (Large Language Models) كأدوات تخطيط للوكالات الذاتية في البيئات المنزلية، جاءت الحاجة لتقييم الفشل الخفي في هذه الأنظمة. بينما تحاول الاختبارات الحالية قياس فعالية الخطط المُولَّدة عبر هذه النماذج، إلا أنها كثيراً ما تغفل نوعاً حرجاً من الفشل هو الفشل الخفي (latent failures).

هذه الأنواع من الفشل لا تُظهر خرقاً فورياً للخطة، بل تتسرب بصمت لتتسبب في تفويت الأهداف، وفي بعض الحالات الحرجة، يتسبب ذلك في نتائج غير قابلة للإصلاح.

لملء هذه الفجوة، تم تقديم SIMMER، معيار مبتكر لتقييم الفشل الخفي في التخطيط باستخدام نموذج عالمي رمزي مستند إلى تجربة الطهي. يتكون نموذج SIMMER من 77 إجراءً، و262 كائناً فريداً، وحوالي 46,800 تفاعل ممكن، تم اشتقاقها من نصوص الطهي الواقعية.

كما يستخدم معالج حالة (state machine executor) للتحقق من صحة الخطط ومقارنتها بالنموذج العالمي، مما يساعد على اكتشاف انتهاكات الشروط المسبقة، والتهديدات الخفية، والنتائج غير القابلة للإصلاح.

أظهرت التجارب التي أجريت على ستة نماذج من نماذج اللغات الضخمة أن نسبة الخطط الخالية من الأخطاء لا تتجاوز 17%. والأسوأ من ذلك، أن ما يصل إلى 56% من هذه الخطط تحمل فشلاً خفياً، مما يؤدي في الغالب إلى عواقب غير قابلة للإصلاح.

ومع ذلك، جاء الأمل من خلال نتائج توضح أن استخدام التفكير الواضح للدولة عبر محاكاة التخيل المضاد (counterfactual foresight simulation) يمكن أن يُخفض الفشل الخفي بنسبة تصل إلى 72%، ويقلل من الحالات غير القابلة للإصلاح بنسبة تصل إلى 75%! يُظهر ذلك مساراً واعداً نحو تحسين تخطيط نماذج اللغات الضخمة.

انضموا إلينا في التعليق على هذا التطور المثير! هل أنتم متفائلون بمستقبل أكثر أماناً للتكنولوجيا الذكية؟