في خطوة متقدمة نحو تعزيز أمان البيئات الداخلية، تم الكشف عن معيار TSHA (تقييم مخاطر السلامة الموثوقة) الذي يهدف إلى معالجة أوجه القصور الحالية في نماذج اللغة البصرية (VLMs). في السنوات الأخيرة، تم تكثيف استخدام هذه النماذج لتقييم مخاطر السلامة، ولكنها كانت تعاني من عدة قيود رئيسية.

أولاً، تعتمد معظم المعايير الموجودة على البيانات الاصطناعية التي تم إنشاؤها عبر برمجيات محاكاة، مما يؤدي إلى فجوة كبيرة بين العمليات الافتراضية والبيئات الحقيقية. ثانياً، تتسم المهام المتعلقة بالسلامة بمحدودية بسبب القيود المفروضة على أنواع المخاطر والمشاهد المستخدمة، مما يقيد قدرة هذه النماذج على التعميم. ثالثاً، تفتقر المعايير الحالية إلى بروتوكولات تقييم صارمة لتقويم قدرات النماذج في سيناريوهات الأمان المنزلي المعقدة.

مع TSHA، يتم تقديم معيار شامل يحتوي على أكثر من 66,668 زوجاً من الأسئلة والأجوبة المدققة. يشمل هذا العدد 64,961 زوجاً تم انتقاؤه بعناية من مجموعات بيانات داخلية موجودة، وإطارات وصور إنترنت، وصور تم إنشاؤها بواسطة الذكاء الاصطناعي، وصور جديدة، وصور بانورامية من Hunyuan. كما يشتمل المعيار الجديد على مجموعة اختبار صعبة للغاية تحتوي على 1,707 زوجاً من الأسئلة والأجوبة، تتكون من مجموعة مختارة بعناية من البيانات التدريبية بالإضافة إلى مقاطع فيديو مولدة من Sora وصور بانورامية تحتوي على مخاطر متعددة، تُستخدم لتقييم متانة النموذج في سيناريوهات السلامة المعقدة.

أظهرت التجارب المعمقة على 22 نموذجاً مشهوراً باستخدام (VLMs) أن النماذج الحالية تفتقر إلى قدرات قوية في تقييم مخاطر السلامة. ومع ذلك، فإن النماذج التي تم تدريبها باستخدام مجموعة التدريب الخاصة بـ TSHA حققت تحسناً ملحوظاً في الأداء يصل إلى +18.3 نقطة عند الاختبار، كما أظهرت قدرة معززة على التعميم عبر معايير أخرى، مما يبرز الإسهام الكبير والأهمية الجلية لمعيار TSHA.