في عالم الذكاء الاصطناعي، تكمن العناصر متعددة الأبعاد (Multimodal) في استخدام تقنيات جديدة للإجابة على الأسئلة من خلال استرجاع الذكريات البصرية. يقوم المساعدون الذكيون بتحليل صور مسترجعة من ذاكرة طويلة الأمد، لكن هناك تحديات تتمثل في كيفية استخدام هذه الصور بشكل فعّال. وهنا يأتي دور تقنية جديدة تُعرف باسم PixelTriage.

تتميز PixelTriage بكونها أداة تعتمد على نموذج صغي، يتم إدراجها بعد حدوث عملية الاسترجاع. يُعتمد على هذا النموذج لتحليل الحوار، مع ملاحظة قصيرة وصورة مصغرة لكل ذكرى مسترجعة، حيث يتنبأ بدقة بمدى الفائدة التي يمكن أن تضيفها هذه الصور. هذا النظام يعتمد على تجارب ذاكرة مصنّعة مسبقًا تم تصنيفها بواسطة نموذج ضخمة بقدرة 27 مليار (27B) لتحليل الكفاءة.

أثبتت الأبحاث أن الاستفادة من الصور غالباً ما تأتي من ذاكرة أو اثنتين فقط، ويمكن توقع هذه الفائدة دون الحاجة إلى تحميل الصورة كاملة. تم قياس أداء PixelTriage لتكون فعّالة من ناحية التكلفة والدقة، حيث يستخدم ما بين 11% إلى 23% من الرموز البصرية دون أي خسارة كبيرة في الدقة.

ولا يتوقف الأمر هنا، بل يحقق هذا النموذج أداءً أسرع بخمس مرات مقارنة بفتح جميع الصور. حيث يُظهر قدرة مذهلة على الانتقال بين أنظمة الذاكرة المختلفة والموديلات الأحدث، بما في ذلك نموذج بقدرة 397 مليار (397B). هذه الإنجازات تبرز الأهمية الكبيرة لتكنولوجيا PixelTriage في تحسين تجربة المساعدات الافتراضية.

هل أنتم مستعدون لاستكشاف مجال الذكاء الاصطناعي المتقدم؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات!