أصدر فريق البحث دراسة مثيرة على موقع arXiv تتناول قضية مهمة تتعلق بنماذج اللغات الضخمة (Large Language Models) ومدى قدرتها على تصحيح الأخطاء في استدلالاتها. على الرغم من تقدم هذه النماذج المذهل في معالجة اللغة، تشير النتائج إلى أنها معقدة في تصحيح الأخطاء الذاتية التي تظهر في مسارات تفكيرها، بينما تبدو قادرة على تصحيح المعلومات المغلوطة التي تأتي من مصادر خارجية بصورة ملحوظة.

استندت الدراسة إلى إجراء تجارب وضعت نماذج اللغات الضخمة في ثلاثة سياقات مختلفة: عندما تعبر عن الرأي من موقعها كـ ole{agent} (وكيل)، أو عندما تتلقى ادعاءات من المستخدم ( ole{user})، أو من أدوات (tool) معينة، وأخيرًا من النظام نفسه ( ole{system}). الأبحاث أظهرت أن التغيير فقط في دور الرسالة يؤدي إلى ارتفاع معدل التصحيح من 23% إلى 93% حسب السياق المحدد.

تظهر البيانات أن تصنيف الادعاءات الخارجية إلى أدوار محددة يؤثر بشكل مباشر على قدرة النماذج في تصحيح المعلومات. وقد أظهرت النتائج أن النماذج كان أداؤها أفضل في مواضيع معينة، مثل الرياضيات والدلالات المنطقية، مما يثير تساؤلات حول الفروقات الجوهرية بين أداء النماذج عند التعامل مع معلومات خاصة بها مقابل معلومات خارجية.

هذه الدراسة تسلط الضوء على الانتباه إلى الفكرة أن التفاعل مع مختلف الأدوار يمكن أن يؤدي إلى تفاوت كبير في دقة التصحيح، مما قد يكون له تداعيات عميقة على كيفية تطوير نماذج الذكاء الاصطناعي واستخدامها في المستقبل.