في عالم البحث العلمي، لطالما كان تقييم الأسئلة العلمية بناءً على آراء الخبراء والنماذج اللغوية الضخمة (Large Language Models) أو الدراسات المتخصصة، مما يُدخِل عنصر التحيز وعدم القابلية للتحقق. هنا يأتي الابتكار الجديد من خلال تقديم بروتوكول لاختبار تاريخي يتيح إنتاج أسئلة علمية من مجموعة بيانات متجمدة عند نقطة تاريخية معينة.

تعمل هذه المنهجية على تجميد الأسئلة قبل أي وصول للأدبيات التالية، بحيث يتم تحديد ما إذا كانت كل سؤال قد تم الإجابة عليه أو تم تناوله جزئيًا أو تم طرحه بشكل مستقل أو تم تجاهله، وما إذا كانت فرضيته الأساسية مدعومة أو مرفوضة في المستقبل.

تُعتبر هذه الطريقة غير مقيدة بنماذج معينة، مما يعني أنه يمكن تقييم أي نظام يقوم بإصدار الأسئلة المجمدة. تم الإفراج عن حالات علم الفلك القابلة للتكرار، مع مجموعات بيانات معزولة زمنيا، وأسئلة مجمدة، وتصنيفات قابلة للتدقيق، وأربع قواعد مرجعية، وواجهة إرسال.

تشير النتائج إلى ان النماذج المعتمدة على هيكل الأدلة أثبتت كفاءة أعلى مقارنةً بالنماذج المعتمدة فقط على الإدخال اللغوي. فقد أظهرت دراسة إضافية لمعدل توافق الحكام (مع وجود تقييم بشري معمي)، أن التصنيف الناتج يعكس النظام أكثر من الأحكام الفردية.

مع هذا البروتوكول الثوري، يتحول اختبار الأسئلة العلمية إلى اختبار زمني بحيث تقوم التاريخ نفسه بتصنيف النتائج.

ما رأيكم في هذه المنهجية الجديدة؟ كيف تعتقدون أنها ستؤثر على مستقبل البحث العلمي؟ شاركونا في التعليقات!