تعد نماذج اللغة الكبيرة (LLM) من التقنيات المتقدمة في مجال الذكاء الاصطناعي، حيث تسهم في فهم البيئات التي تتفاعل معها. ولكن كيف يتمكن هذا النوع من الوكلاء ليس فقط من التعرف على هذه البيئات، بل من إتقان المهام المنوطة بهم؟

في دراسة حديثة، أجرى الباحثون مجموعة من التجارب المنضبطة تجمع بين تدريب نماذج العالم (world-model training) وتدريب السياسات (policy training) بهدف فهم هذه الظاهرة.

تم استخدام أساليب التحليل الهندسي لاستكشاف كيف تؤثر تحديثات نماذج العالم على أداء الوكلاء. وجد الباحثون أن تحديثات نماذج العالم فعالة، حيث تميل إلى أن تكون منخفضة المرتبة وتشترك في فضاء المدخلات مع تحديثات السياسات، بينما تكتب إلى اتجاهات مخرجات شبه متعامدة. هذه النتائج تشير إلى أن بدء العملية بشكل منفصل أو تسلسلي يظهر فوائد مختلفة.

عند إجراء تدخلات الإسقاط، تبين أن التحديث التسلسلي يُحقق مستوى أعلى من القوة والمتانة عند إزالة اتجاهات المدخلات الرئيسية لنموذج العالم، مما يدل على أن النموذج قد تعلم مسارات إدخال بديلة.

سلوكياً، يظهر الوكيل المدرب تسلسلياً استكشافاً أوسع لمجموعة متنوعة من الحالات والأفعال. من هنا، يطرح الباحثون سؤالاً مهماً: هل يضمن تدريب السياسات الحفاظ على المعرفة العالمية بأفضل صورة ممكنة؟

وبعد تجارب إضافية، وجدوا أن دمج القواعد الهندسية المستخدمة في المدخلات مع فقدان نموذج العالم خلال التدريب على السياسة يحقق نتائج محسنة مقارنة بالأساس غير المعالج. هذه النتائج تقدم رؤى مهمة حول كيفية تعلم المعرفة العالمية والقدرة الموجهة نحو المهام في أشكال هندسية متكاملة.

تشير هذه الدراسات إلى ضرورة التفكير في كيفية تطوير خطوط أنابيب ما بعد التدريب، بحيث يمكن تحسين العلاقة بين نماذج العالم والسياسات لتحقيق أداء أعلى في المستقبل.