في عالم متسارع تكنولوجياً، يتمثل تحدٍ كبير في كيفية برمجة الروبوتات الاجتماعية الصغيرة باستخدام تعليمات اللغة الطبيعية (Natural Language Instructions). يكشف مشروع MistyPilot النقاب عن إطار عمل مبتكر يجمع بين التعاون بين وكالات متعددة ونماذج لغات ضخمة (Large Language Models) لجعل التعليمات الطبيعية أكثر فعالية ودقة.

يعتمد MistyPilot على توجيه التعليمات إلى وكيلين متخصصين. الأول هو وكيل تفاعلي مادي (Physically Interactive Agent) الذي يتولى التحفيزات الحسية والتحكم المباشر في الروبوت. الثاني هو وكيل التفاعل الاجتماعي (Social Interaction Agent) الذي يدير المواقف التفاعلية، ويقدم استجابات متعددة الوسائط تعتمد على سياق المحادثات.

أحد أبرز جوانب MistyPilot هو كفاءة إعادة استخدام النتائج التي تم توليدها مسبقًا، مما يعزز سرعة التنفيذ ويساهم في تقليل عبء العمل على المطورين. تم تقييم الإطار في خمس مجموعات مكونة، حيث تم تنفيذ الربط الحسي ودعوات المهارات على الروبوت الفعلي Misty.

النتائج كانت مبهرة؛ حيث أظهر MistyPilot دقة عالية في توجيه التعليمات، مع تقليل التباين مقارنة مع نماذج أحادية وكيل. التجارب الأولية مع 12 مشاركاً في الدراسة أثبتت أن المستخدمين يمتلكون انطباعات إيجابية حول سهولة الاستخدام وجودة التفاعل.

بفضل هذه الابتكارات، يبدو أن MistyPilot يمثل نقلة نوعية في كيفية تفاعل البشر مع التكنولوجيا، ويُعد مشروعًا مفتوح المصدر، لذا يمكن للمهتمين الوصول إلى الشيفرة البرمجية عبر صفحة المشروع.