في تطور مذهل في عالم الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (LLMs) تلعب دوراً حيوياً كواجهة للتفاعل مع العالم الحقيقي. ليس فقط تقتصر على إنتاج النصوص، بل باتت الآن قادرة على التحكم بالأدوات، تشغيل الأجهزة، واتخاذ قرارات تؤثر في محيطها الفيزيائي.

لكن كيف يمكن تقييم هذه القدرات الجديدة؟ يتساءل الباحثون حول فعالية هذه النماذج في بيئات حقيقية بدلاً من الاعتماد على معايير تقليدية تركز على الإجابات النصية الثابتة أو التجارب المحاكاة. لذا، تظهر الحاجة إلى مقياس جديد يختبر النماذج في تفاعلات مباشرة مغلقة، حيث تتمكن النماذج من التحكم في أنظمة مرتبطة بالمكونات الواقعية مثل الأذرع الروبوتية، الكاميرات، والمستشعرات.

في هذه التجارب، على النموذج أن يصدر التعليمات، يتلقى ردود الفعل الفيزيائية من البيئة، يفسر الحالة الناتجة، ويعدل من إجرائه التالي بناءً على ذلك. هذا الأسلوب يقيس القدرات التي تتجاوز الفهم اللغوي إلى مجالات مثل الإدراك المرتبط بالواقع (Grounded Perception)، تخطيط الحركات، اختيار الأدوات، التفكير المكاني، التصحيح المدفوع بالتغذية الراجعة، والقدرة على التكيف مع عدم اليقين.

عبر تجارب مع نماذج LLMs تمثيلية، تم تحديد قدرتها على تحويل التفكير اللغوي إلى أفعال فعلية، وتم التعرف على بعض نقاط الضعف الشائعة مثل تغييرات الحالات الناتجة الخيالية، وعدم القدرة على التعافي من النتائج غير المتوقعة، وخطط طويلة الأمد غير مستقرة. يحاول هذا المقياس تقديم أساس منهجي لتقييم LLMs كعملاء تفاعليين، يجمع بين الكلمات، الأدوات، والعالم الفيزيائي.