في عالم الذكاء الاصطناعي، تلعب نماذج اللغة (Language Models) دورًا بارزًا في تنفيذ مهام متعددة. لكن دراسة جديدة على موقع arXiv تُظهر أن هذه النماذج قد تواجه صعوبة في التمييز بين ما هو ممكن وما هو مستحيل. فعندما يعود نموذج اللغة بإجابة تؤكد أنه تم "حلّ" مشكلة ما، يصبح من الصعب على البرمجيات الموثوقة به تصديق ذلك، حتى لو كان التصميم المطلوب غير ممكن من الناحية الفيزيائية.

في تجربة شاملة، تم اختبار 12 نموذجًا عبر 4,860 استدعاء، مع حدوث متابعة على تصاميم جديدة، حيث تم ضبط الحملات على الأعمدة وسرعات الأقراص عند نسب معروفة فوق أو تحت حدود الانهيار المادي. النتائج كانت مفاجئة: بعض النماذج مثل Opus 5 وGemini 3.8 Flash كانت قادرة على رفض التصاميم غير الممكنة عندما يُسأل عنها فقط فيما يتعلق بالقبول feasibility، لكنها تقبل نفس التصاميم عندما يُطلب منها إعطاء إجابة كاملة.

هذه النتائج تشير إلى ضرورة وجود معايير أكثر دقة لاختبار قدرة النماذج على الحكم على قابلية التطبيقات وتصاميم الحلول. كما أن إعادة صياغة الأسئلة أو تغيير تنسيق الإجابات قد يزيد من دقة الرفض للنماذج الأصلية، ولكن ليس بالضرورة مع التصاميم الجديدة.

الأهم من كل هذا، يجب أن تكون البرمجيات والمعايير التي تعتمد على نماذج اللغة قادرة على اختبار قابلية التصميم (feasibility judgement) والرفض الكامل للإجابات بشكل منفصل، مع ضرورة الإبلاغ عن الاستفسار المستخدم بدقة.