في عالم العلوم التجريبية، أن تكون قادراً على إجراء اختبارات احتمالية موثوقة يمثل ركيزة أساسية للتأكد من صحة الفرضيات العلمية. مع تقدم التكنولوجيا، أصبح وكلاء النماذج اللغوية الضخمة (LLM) أداة مهمة لأتمتة هذه العمليات، حيث يقومون بفحص البيانات، توليد الأكواد، وإنتاج التحليلات من البداية للنهاية.

لكن، هل هذه النماذج دائماً دقيقة؟

أظهرت الدراسات أنها كثيراً ما ترتكب أخطاء استنتاجية طفيفه تؤدي إلى نتائج غير صحيحة، بالرغم من تنفيذ التحليلات بشكل صحيح. بالتالي، فإن المعايير الحالية لا تستوعب هذا الخلل، حيث نادراً ما تقيم ما إذا كانت قيمة p المُبلَّغ عنها صحيحة إحصائياً وفقاً للاعتبارات الأساسية للبيانات.

لحل هذه المعضلة، تم تطوير P-Bench، وهو معيار يتكون من 425 مهمة اختبار فرضية واقعية وملائمة تمتد عبر مجالات الاقتصاد، وعلم الأحياء، والطب. كل مهمة تتطلب من الوكيل اختيار طريقة إحصائية، حساب قيمة p، واستخلاص استنتاج استناداً إلى فرضية علمية ومجموعة بيانات فقط.

كما تم تقديم Fisher-R1، وهو وكيل LLM مفتوح الوزن تم تدريبه على الاختبارات الصارمة للفرضيات باستخدام مهام صناعية وتعلم التعزيز. أظهر Fisher-R1-14B تحسناً ملحوظاً على نماذجه الأساسية وتفوق على معايير قوية، بما في ذلك GPT-5.4 وDeepSeek-V4-Pro، حيث حقق تحسناً متوسطاً نسبته 21% في النجاح على التجارب الفردية، مع مكاسب تصل إلى 26% في المهام الأكثر تحدياً.

تظهر نتائجنا أن الوكلاء الحاليين للنماذج اللغوية الضخمة يفتقرون إلى قدرة موثوقة على التفكير الإحصائي في اختبار الفرضيات، وأن تعلم التعزيز على المهام المتعلقة بجوائز إحصائية موثقة يُحسن بشكل كبير من موثوقيتهم.

فهل سيلعب Fisher-R1 دوراً مهماً في تشكيل مستقبل الاختبارات العلمية؟ شاركونا آراءكم حول هذا التطور الرائع.