في السنوات الأخيرة، أثبتت النماذج الموحدة المتعددة النماذج (Unified Multimodal Models) أنه يمكن لتصميم واحد أن يقوم بفهم الرؤية واللغة وتحقيق الإنجاز الفني في إنشاء الصور وتحريرها. ومع ذلك، تعرضت هذه النماذج لبعض القيود، حيث تعتمد على إمداد جميع المدخلات المرئية والنصية التاريخية ضمن نافذة سياق مشتركة، مما يحد من قدرة الحوار المتعدد النماذج على المدى الطويل بسبب الزيادة المفرطة في الرموز البصرية وعدم موثوقية الإشارات عبر الحوارات.

إلا أن البحث الأخير أطلق نموذج "العميل المعرفي متعدد النماذج" (Cognitive-structured Multimodal Agent)، الذي يتميز بفكرة جديدة تعتمد على استخدام ذاكرة بصرية episódica (Episodic Visual Memory) تعمل على إبعاد المعلومات المرئية وتفعيل الحلقات ذات الصلة خلال مراحل التفكير.

يتكون النموذج من ثلاثة عناصر رئيسية:
- **محرك التجريد الحسي** (Perceptual Abstraction Engine): الذي يختص بالتجريد الهيكلي للمعلومات المرئية.
- **محرك استرجاع معرفي** (Cognitive Retrieval Engine): الذي يسمح باسترجاع الذاكرة عبر الحوارات.
- **وحدة تحكم تنفيذية متعددة النماذج** (Multimodal Executive Controller): التي تدير استنتاجات المهام وتخطيط الأعمال بشكل مستقل.

لتلبية الحاجة لبيانات استرجاع على مستوى الحوارات، تم تطوير محرك السيناريو الموحد (Unified Scenario Engine) الذي يُنتج حوارات متعددة المراحل مع تعليقات دقيقة على الاسترجاع، مما يمكن لوحدات التعلم التعزيزية (Reinforcement Learning) من تحسين سياسات التجريد والاسترجاع.

علاوة على ذلك، أنشأنا معيار حواري بصري طويل المدى خضع للاختبارات وتدرج حسب مستوى الصعوبة لقياس دقة الاسترجاع البصري. حيث حقق عميلنا المعرفي دقة استرجاع بلغت 91.4% خلال جلسات من 20 جولة، متجاوزًا الأسس الأخرى ذات 32 مليار معلمة بنسبة +8.2% مع تقليص وقت الاستنتاج لكل جولة تقريبًا إلى النصف (من 23.1 ثانية إلى 12.7 ثانية).

نقدم أيضًا "أداة عميل النموذج المعرفي المعزز" (Cognitive-structured Multimodal Agent Harness أو CMA-Harness) كخيار لإطلاق هذا الهيكل المعرفي، الذي يجمع بين الذاكرة متعددة النماذج المستمرة، وصول الإنترنت، أدوات إنشاء الصور وتحريرها وتركيباتها، بالإضافة إلى التوافق مع خدمات OpenAI.

تشير هذه الابتكارات إلى أن استخدام الذاكرة الهيكلية واتخاذ القرارات المبنية على الوحدات يمثل نموذجًا أكثر قابلية للتوسع وكفاءة لعملاء متعددين بدلاً من الاعتماد على زيادة ضخمة في المعلمات.

للمزيد من المعلومات والتفاصيل التقنية، يمكنك زيارة صفحة المشروع وكود البرنامج هنا.