في عالم الذكاء الاصطناعي المتطور، تكمن إحدى أبرز التحديات في كيفية تمكين الروبوتات من التعلم من مقاطع الفيديو البشرية التي تمثل سلوكيات معقدة. تكمن العقبة الرئيسية في هذا المجال ليس في تصميم النماذج (model architecture)، بل في البيانات المتاحة. على الرغم من وجود مليارات مقاطع الفيديو على الإنترنت التي تُظهر كيفية التعامل مع الكائنات، إلا أن الفجوة بين الشكل البشري والتكنولوجيا الروبوتية تمنع هذه الروبوتات من التعلم المباشر.

نحن فخورون بالإعلان عن إطلاق منصة "بيغاسوس" (Pegasus)، وهي إطار عمل مبتكر يعمل على جسر هذه الفجوة عن طريق ترجمة العروض البشرية إلى بيانات قابلة للاكتساب من قبل الروبوتات من خلال نقل المعرفة المنظم (structured knowledge transfer).

بدلاً من الاعتماد على مقاطع الفيديو الخام، تقوم بيغاسوس ببناء تمثيل وسيط قائم على الرسم البياني. حيث يتم تحويل "مخطط المهام" (Task Graph) المستخرج من مقاطع الفيديو البشرية، عبر مخططات الخصائص (Affordance) والقيود (Constraints)، إلى مخطط تخطيط الروبوت (Robot Planning Graph) لتوليد فيديوهات مُشروطة بالسلوكيات الآلية.

إن الفضاء الكامن للخصائص الهرمية (hierarchical affordance latent space) يُنموذج العلاقة بين حالات الأجسام، والخصائص، والمهام، مما يمكّن الروبوتات من التعميم والإبداع بعيدًا عن هويات الكائنات.

تتضمن المنصة أيضًا مُحقق فيزيائي مزدوج الاتجاه يقوم بتصفية التوليد غير الصحيح استنادًا إلى إمكانية الحركة (kinematic feasibility)، قيود الاصطدام، وحدود المفاصل، مما يضمن نتائج موثوقة. لقد قمنا بتقييم منصة بيغاسوس عبر مجموعة متنوعة من معايير التلاعب الذاتية، بما في ذلك GTEA Gaze+ وEPIC-KITCHENS-100، وكذلك عبر أشكال متعددة من الروبوتات. تم التركيز على معايير مثل دقة المهام (Task Correctness)، وقابلية التنفيذ (Executability)، وتناسق الحالة (State Consistency)، ودرجة قابلية التعلم (Learnability).

تشير النتائج إلى دقة في الترجمة بين الأشكال المتعددة، وتظهر أن توليد بيانات الروبوت يمكن إعادة تأطيره من مشكلة جمع الأجهزة (hardware collection problem) إلى مشكلة نقل المعرفة القابلة للتوسع ومنخفضة الموارد.

هل أنتم متحمسون لمستقبل الروبوتات والتطبيقات المبتكرة لهذه التكنولوجيا؟ شاركونا آراءكم في التعليقات!