في عالم سريع التطور لذكاء الاصطناعي، تمثل نماذج اللغات الضخمة (Large Language Models) جوهر الابتكارات الجديدة، حيث تم استخدامها كعمود فقري لفهم المدخلات المتعددة الأبعاد وتخطيط عمليات الاسترجاع. ومع ذلك، كانت التقييمات الراهنة نادرة فيما يتعلق بالتطبيقات ذات الفيديو القصير، حيث تُمثل المشاهد الموقوفة تحديًا بصريًا وتقنيًا.

**مقدمة SVFSearch**
اليوم، نقدم لكم SVFSearch، أول معيار مفتوح لتقييم بحث إطار الفيديو القصير في مجال الألعاب بشكل خاص. يتضمن SVFSearch 5,000 مثال اختبار مع خيارات متعددة، بالإضافة إلى 4,198 مثال تدريب داعم، كل منها يركز على مشهد لعبة موقوف من مقطع فيديو قصير حقيقي.

**بيئة التقييم**
لتوفير تقييم عادل وقابل للتكرار، يقدم SVFSearch بيئة استرجاع مجمدة دون الاتصال بالويب، مع مجموعة نصوص خاصة بمجال الألعاب ومعرض صور مرتبط بالمواضيع. كذلك، يوفر واجهات استرجاع نصوص وصور متعددة الأبعاد.

**نتائج البحث والتحليل**
عند تقييم نماذج مختلفة، من QA المباشرة إلى أدوات التخطيط، تظهر النتائج فجوة كبيرة بين الاستعلامات النموذجية وسلوكيات البحث العملية. إذ أن أفضل نموذج مفتوح بلغ معدل دقة 66.4%، بينما النموذج العملي الأفضل حقق 79.1%، ومعرفة الأوركال وصلت إلى 95.4%.
بالإضافة لذلك، كشفت التحليلات عن معوقات في التوجيه البصري وجودة الاسترجاع وسلوكيات استخدام الأدوات مثل البحث الزائد والاختصارات القائمة على الأجوبة.