في مجال العلوم المتقدمة، يشكل الذكاء الاصطناعي تحدياً كبيراً لنماذج اللغة الكبرى (LLMs) التي يُنتظر منها أن تستخدم كعملاء موثوقين في workflows العلمية. ولكن، هل تستطيع هذه النماذج حقاً تفريق الأدب العلمي الموثوق عن غير الموثوق به؟ هذا هو المحور الرئيسي للدراسة الجديدة التي تتناول معيار TRACES المُبتكر.

تقدم هذه الدراسة الجديدة مجموعة اختبارية مكونة من 42 ورقة علمية تم سحبها، مزيفة، أو زائفة، مصحوبة بأسلوب إليكتروني لتقييم كيفية تفاعل النماذج مع كل ورقة، حيث يتم استخراج مقدمة قريبة من النص الأساسي للورقة ودراسة كيفية تصميم طلب الدراسات.

تتضمن الفئات المختلفة للادعاءات ما يلي: ملاحظة مُصنَّعة، آلية زائفة، فرضية سحرية، جسر مشروعية، وتجربة من نوع "Cargo Cult". وتم تقديم نوعين من الدرجات لتحديد ما إذا كانت النماذج ترفض أساسات خاطئة (IFR-a) وتتفاعل رغم التعرف على عدم الموثوقية (IFR-i).

نتائج البحث تشير إلى وجود إخفاقات ملحوظة في دقة النماذج، حيث أظهرت الدراسة أن جميع النماذج المُقيمة تفشل في أكثر من 71% من التجارب التي تم تقييمها. مما يشير إلى ضرورة ملحة لتعزيز أطر البنية التحتية لحماية الاستخدام العلمي لنماذج اللغة.

هل واجهتم تحديات مشابهة في استخدام الذكاء الاصطناعي في مجالات أخرى؟ شاركونا تجاربكم في التعليقات.