في خطوة مبتكرة نحو تقييم قدرات نماذج الذكاء الاصطناعي، تم تقديم "فيزياء" (Physics)، وهو معيار يعتمد على مجموعة من 1034 مسألة مفتوحة تم جمعها من امتحانات تأهيل الدكتوراه عبر ستة مجالات أساسية في الفيزياء. تتطلب هذه المسائل ليس فقط فهمًا عميقًا للمعرفة التخصصية، بل أيضًا القدرة على إجراء تفكير رياضي متعدد الخطوات.

كل مسألة تأتي مع حل موضح وإجابات مرجعية مدققة بشكل مستقل. تم استخدام بروتوكول تصحيح قائم على نماذج اللغات الضخمة (Large Language Models) لتقييم الإجابات الفردية والمسائل المعقدة من جميع النواحي، بما في ذلك الإجابات الرقمية والرمزية والنصية.

تتضمن الدراسة تقييم 53 نموذجًا، سواء كانت ملكية أو مفتوحة. وقد أظهر أداءً متفاوتًا، حيث انحصرت دقة الحلول في مجموعة صغيرة من النماذج القادرة على التفكير بشكل متقدم، إذ اقتربت أقوى النماذج المفتوحة من قدرة النماذج الملكية. ومع ذلك، لا تزال معظم النماذج المفتوحة تستطيع حل أقل من نصف تلك المسائل.

تحليل نموذج Qwen3.5-9B يكشف عن عدم قدرة في تطبيق المعرفة الفيزيائية وفهم الرسوم البيانية، حيث تأثرت بعض المواضيع الفرعية بقراءة خاطئة للرسوم البيانية.

إن هذا الإنجاز ليس مجرد خطوة للأمام في عالم الذكاء الاصطناعي، بل يمثل تحديًا كبيرًا للباحثين والمطورين لفهم كيف يمكن تعزيز قدرات نماذج الذكاء الاصطناعي في مجالات ذات تعقيد عالٍ. كيف ترى تطورات هذا المجال؟ شاركونا آراءكم في التعليقات!