تواجه النماذج العلمية التقليدية عائقاً كبيراً في تحديد ما إذا كانت قادرة على اكتشاف القوانين من البيانات أو أنها تكتفي باسترجاع المعلومات من مجموعة التدريب الخاصة بها. لكن مشروع LSR-Synth يقدم حلاً مبتكراً لتلك المعضلة.

هذا المشروع يعتمد على إدخال مصطلحات صناعية جديدة في أنظمة علمية معروفة، ويقوم بتصفية المهام الناتجة من أجل ضمان الجدة والقابلية للحل والجدوى العلمية. وقد قام الباحثون بفحص سؤال قياس أضيق: هل يمكن لهذه المهام أن تميز بشكل أكبر بين المعلومات العلمية التي تقدمها نماذج اللغة (Language Models) والبحث التقليدي عن العمليات التي لا تعتمد على معاني المهام؟

لتحقيق ذلك، قاموا بإنشاء قاعدة بيانات خالية من المعاني باستخدام مفردات ثابتة ذات وثائق منشورة، وتقييم دور تغطية المرشحين من خلال تقنيات عدة مثل حجب المعاني، وتضعيف المكتبة، واستبعاد عائلات العمليات المتطابقة. أظهرت النتائج أن المفردات الثابتة تغطي معظم المهام المطروحة، بينما تساهم المقترحات الناتجة عن نماذج اللغة فقط عندما تكون تغطية المفردات متأثرة بشكل انتقائي. وتجدر الإشارة إلى أن التقييم الصارم خارج نطاق التوزيع يقلل من نسب النجاح المطلقة لجميع الأساليب، لكنه لا يغير من هذه العلاقة.

تشير النتائج إلى أن معظم المهام الحالية لا تزال مناسبة لتقييم التوافق وإعادة تركيب تعبيرات جديدة، لكنها غير كافية بمفردها لتحديد المساهمات من المعايير السابقة خارج نطاق البحث الثابت. يمكن أن تكون هذه الدراسة خطوة تعزز الفهم العميق لنماذج الذكاء الاصطناعي وكيف يمكن استخدامها بصورة أكثر فعالية في البحث العلمي.