في عالم الذكاء الاصطناعي، تتجلى الأهمية المتزايدة لفهم الترتيب الزمني للأحداث في المحتوى المرئي والسمعي. هنا يأتي دور أداة AVTrace (تقييم قدرة فهم الزمن السمعي-بصري)، التي تم تطويرها مؤخراً لتكون معياراً ذهبياً في هذا المجال.

تتضمن AVTrace مجموعة شاملة من الأدوات تشغل أكثر من 34,114 مثالاً تدريبياً، وتغطّي مجموعة متنوعة من التقييمات مثل تحديد البداية والنهاية، والتزامن، وتوقع الخطوة التالية، والتحديد العابر للوحدات المختلفة، وفهم الشروط الخاصة بالأحداث. جاءت بيانات التطوير والاختبار في تقسيمات متوازنة بحيث تضم 3,500 مثالاً للتطوير و7,000 مثال للاختبار، مما يمنح نتائج موثوقة.

تمت دراسة خمس نماذج سمعية-بصرية مفتوحة المصدر تحت مختلف إعداداتها، ولكن للأسف، جميع النماذج الخمسة تحت مستوى المعيار المرجعي للاختبار الذي بلغ 0.556 في التحقق من التزامن، كما حصلت على درجات منخفضة في فهم العلاقات الزمكانية.

وكشفت الاختبارات التجريبية عن حساسية معينة للنماذج، مثل نموذج Qwen3-Omni-30B، تجاه إزالة بعض الجوانب الحسية أو التغييرات في معالجة المدخلات البصرية دون تحديد الأسباب الجوهرية.

أخيراً، أثبت تحسين ما بعد التدريب الزمني على النموذج Gemma4-E4B-it تحسناً ملحوظاً في بعض المعايير المعيارية، مما يعزز الفكرة القائلة بأن استخدام النصوص المرجعية السيمانتية لا يجب اعتباره بديلاً عن التوضيح الزمني للأحداث.

AVTrace تمثل خطوة مهمة نحو تحسين فهم الذكاء الاصطناعي للأحداث الزمنية، مما يجعلها أداة فريدة لتحديد نقاط الضعف في النماذج المستخدمة وتوفير منصة للاختبار وتحسين النماذج المستقبلية.