تعتبر نماذج اللغات الضخمة (Large Language Models) متعددة النماذج في صميم تطورات الذكاء الاصطناعي، ولكن ما هو مدى قدرتها على تجاوز مجرد وصف المحتوى المرئي إلى تنفيذ إجراءات فعلية؟ هذا السؤال هو محور دراسة جديدة تم تقديمها تحت عنوان CrochetBench.

تمثل CrochetBench معايير جديدة لتقييم كيفية تقدم نماذج الذكاء الاصطناعي من الوصف إلى التنفيذ عن طريق التفكير الإجرائي الدقيق في مجال الكروشيه. حيث يتعين على هذه النماذج التعرف على الغرز، واختيار التعليمات المناسبة من الناحية الهيكلية، وتوليد إجراءات قابلة للتنفيذ.

لتحقيق ذلك، اعتمدت الدراسة على لغة برمجة خاصة تدعى CrochetPARADE، والتي تُستخدم كتمثيل وسيط، مما يسمح بالتحقق الهيكلي والتقييم الوظيفي من خلال التنفيذ المباشر. تتناول هذه المعايير مهامًا مثل تصنيف الغرز، وتحديد التعليمات، وترجمة اللغة الطبيعية والصور إلى لغة البرمجة.

نتائج هذه الدراسة تظهر تراجعًا حادًا في الأداء حينما تنتقل التقييمات من التشابه السطحي إلى الدقة القابلة للتنفيذ، مما يكشف عن محدوديات في التفكير الرمزي على مدى بعيد وتوليد الإجراءات المعتمدة على الأبعاد الثلاثية. بهذه الطريقة، تقدم CrochetBench عدسة جديدة لتقييم الكفاءة الإجرائية في النماذج المتعددة الوسائط، وتسلط الضوء على الفجوة بين الفهم السطحي والدقة القابلة للتنفيذ في المجالات الإبداعية الواقعية.

للمزيد من التفاصيل، يمكنكم زيارة [رابط_المقال].