تشهد تقنية الذكاء الاصطناعي تطورًا مذهلاً يقودها نموذج جديد يعمل على تحسين أداء نماذج اللغات الضخمة (Large Language Models) خلال المحادثات. في محادثات الذكاء الاصطناعي، غالبًا ما تبذل هذه النماذج جهدًا كبيرًا للوصول إلى استجابات سلسة، لكنها تواجه تحديات كبيرة في معرفة متى يجب أن تتحدث. هنا يأتي دور التقنية الجديدة التي تستخدم الاستراتيجيات المتعددة الوسائط.

تتمثل الفكرة الأساسية في دمج الإشارات السمعية والبصرية في نموذج واحد، مما يساعده على تعزيز وعيه بتوقيت المحادثة. تم إعادة صياغة توقيت الاستجابة ليصبح مهمة توقع نوع الاستجابة الكثيفة، مما يمكّن النموذج من اتخاذ قرار بالسكوت، أو إصدار ردود فعل قصيرة، أو بدء رد كامل تبعًا للظروف المحيطة.

تم تطوير مجموعة بيانات متعددة الوسائط تحتوي على مقاطع فيديو لمحادثات ثنائية من العالم الحقيقي، مع تزامن الإشارات المختلفة وتفاصيل دقيقة حول أنواع التفاعل. هذه المجموعة تمثل حجر الزاوية لتدريب النموذج الجديد المسمى MM-When2Speak، الذي يدمج تحسينات قوية تعزز من قاعدة الـLLM.

تظهر التجارب في إعدادات متعددة الوسائط أن MM-When2Speak حقق تحسناً يصل إلى ثلاثة أضعاف في أداء توقع نوع الاستجابة، مما يؤكد أهمية الإدراك المتعدد الوسائط في تحقيق تفاعلات محادثة طبيعية وجذابة. مع هذه التطورات، يصبح من الممكن للعوالم الرقمية أن تقترب أكثر من التجارب الحقيقية، مما يفتح آفاق جديدة في تكنولوجيا الذكاء الاصطناعي.