في عالم الذكاء الاصطناعي (AI)، تشير الأبحاث الحديثة إلى تقدم مثير يتوقع أن يحدث ثورة في الطريقة التي تعمل بها الأنظمة الذكية. حيث أظهرت الدراسات أن نماذج الرؤية واللغة المدربة مسبقًا، والمعروفة باسم نماذج الرؤية واللغة (Vision-Language Models - VLMs)، تستطيع التعامل مع التعليمات ورسم خطط عالية المستوى بكفاءة. ولكن، يواجه هذه النماذج تحديًا عند تحويل تلك الخطط إلى تسلسلات أفعال سريعة وموثوقة في بيئات غير مألوفة.

في المقابل، فإن وحدات التحكم التي تعتمد على نماذج العالم (World-Model Controllers) تتفوق في السيطرة السريعة من الملاحظة إلى الفعل، لكنها تفتقر إلى الإرشاد القابل للتوجيه في المهام المفتوحة. لذا، جاءت الفكرة المبتكرة للدمج بين هذين النظامين في نظام واحد يُعرف بـ Instruct-to-Act، حيث يتم تدريب وحدة التحكم على العمل بطريقة آلية بتردد عالٍ استنادًا إلى تعليمات نصية عالية المستوى، يتم إنشاؤها بواسطة نموذج VLM.

تتضمن عملية تدريب وحدات التحكم إعادة تسمية أجزاء من سياسات التحكم بتعليمات اصطناعية وتحسين الأهداف باستخدام cloning behavior مع الأهداف القائمة على المكافآت ونمذجة العالم. تم تقييم هذه المنهجية الجديدة في سبع بيئات جسدية، تتضمن ثلاثة بيئات متعددة الوكلاء حيث تتعاون نماذج VLM من خلال اللغة بينما تعمل وحدات التحكم كآليات تنفيذ.

تشير النتائج إلى أن هذا النهج المدمج يتفوق بانتظام على المتغيرات التقليدية لوحدات التحكم فقط أو نماذج VLM المباشرة، بينما يحافظ على سرعة التحكم وسهولة التبادل لأنماط تخطيط VLM المدربة مسبقًا دون الحاجة إلى إعادة ضبط.

إن هذه التطورات تشير إلى إمكانيات جديدة غير محدودة للأنظمة الذكية وقدرتها على التعامل مع التعليمات المعقدة بإتقان في بيئات متنوعة. ما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!