إن إدراك حركة الجسم الإنساني يعد عنصرًا حاسمًا للأنظمة متعددة الوسائط التي تهدف إلى فهم ومساعدة الأفراد. ورغم ذلك، تتركز التقييمات الحالية لنماذج اللغات الضخمة متعددة الوسائط (Multimodal Large Language Models) بشكل أساسي على الأجسام والمشاهد والأفعال العامة، مما يترك قدرتها على التفكير حول الجسم نفسه غير مُقَيَّم بشكل جيد. هذا الأمر يُعتبر تحديًا خاصًا من منظور ذاتي (egocentric)، حيث يُرى الجسم جزئيًا فقط، ويجب استنتاج الحركة من إشارات محجوبة وموزعة زمنيًا.

تقديم SOMA يؤسس معيارًا لفهم حركة الجسم بتفاصيل دقيقة من مقاطع الفيديو ذات المنظور الذاتي، ويشمل 1,632 سؤالًا تم التحقق منها بشريًا عبر ثلاثة محاور رئيسية: تكوين الجسم، ديناميكيات الحركة، والتفكير الزمني. قمنا بتقييم 37 نموذجًا رائدًا، سواء كانت مغلقة المصدر أو مفتوحة، لاستخدامها في تحليل الحركة الذاتية، مدعومين بتقييم بشري شامل.

تظهر النتائج أن البشر يجدون أيضًا هذه المهمة صعبة عند تحليل مقاطع الفيديو وحدها، حيث تحققوا بدقة 68.5%، بينما بلغ أداء أقوى نماذج اللغة الضخمة (Qwen3.6-27B) 50.0% من دقة التقييم دون تدريب (zero-shot).

نُشير إلى أن تحليل الأخطاء يُظهر أن نماذج اللغات الضخمة تميل أحيانًا إلى خطأ في قراءة جسم المُستخدم، كما تسيء تقدير الأحداث الزمنية، وقد تتعرض لتحيزات مثل تفضيل اليد اليمنى أو احتساب التكرارات بشكل ناقص. بهدف تقليل الفجوة بين أداء البشر وتحقيق المزيد من التقدم، نقدم مجموعة بيانات تدريبية تتضمن مقاطع فيديو متزامنة مع حركة الجسم وإشراف لغوي، إلى جانب نموذج أساسي متعدد الوسائط يتعلم بشكل مشترك من هذه الأنماط.

من خلال تحديد أنماط الفشل الشائعة والقدرات المفقودة في نماذج اللغات الضخمة الحالية، نأمل أن يلهم SOMA أبحاثًا مستقبلية حول فهم حركة الجسم والتفكير متعدد الوسائط. يمكنكم الوصول إلى المعيار الكامل وبيانات التدريب والكود من خلال الرابط: [https://cnai.epfl.ch/soma]