في الوقت الراهن، تشهد أنظمة الذكاء الاصطناعي المتخصصة (Specialized AI Systems) توجهًا متزايدًا في تبادل الرسائل بين المعالجين والمتحققين، ولكن ما هو التأثير الفعلي لهذه الرسائل على جودة الإجابات؟ هل تسهم في تقديم إجابات أفضل أم تدعم التقييمات بشكل أقوى؟ هذه الأسئلة تشكل جوهر الدراسة الحديثة التي تبحث في \"تأثير الرسائل:\".

في هذه الدراسة، تم تقديم تشخيص تدخّل الرسائل (Message-Intervention Diagnostic) الذي يحدد نوع الإجابات المقدمة، مع الحفاظ على ثبات الأدلة والإجابة المرشحة. تم استخدام 400 مثال من مجموعات بيانات متنوعة مثل MuSiQue وHotpotQA و2WikiMultiHopQA، مع اعتماد نموذج DeepSeek كنظام مولد ومتحقق.

أظهرت النتائج أن الرسائل الأمينة (Faithful Rationales) لا تضيف دقة ملحوظة في الإجابات مقارنة بالحالات التي تفتقر إلى أي نوع من الرسائل. بينما تؤدي الرسائل الفاسدة (Corrupted Rationales) إلى تغييرات جذرية في التقييمات. فعلى سبيل المثال، أظهرت المتغيرات التي تتضمن إعادة صياغة خالية من الأذى (Harmless Paraphrases) تغييرًا بسيطًا يتراوح بين 0% و2.5% في التقييمات، في حين أن الرسائل الفاسدة استطاعت تغيير هذه التقييمات بنسبة تتراوح بين 10% و22%.

عند استخدام إطار عمل تدقيق بشري، تم تحديد 16 من أصل 42 حالة فساد صالحة على أنها حالات ثقة مفرطة. وقد أظهرت التقييمات البشرية أن 9 من كل 10 رسائل فاسدة غير واضحة أو تم رفضها. هذه الاكتشافات تشير إلى أهمية تقييم مشاركة الرسائل كآلية للتحقق، وليس فقط كوسيلة لزيادة دقة الإجابات.