في عالم الذكاء الاصطناعي العصبي الرمزي، تعتبر الترجمة الدقيقة من اللغة الطبيعية إلى المنطق من المرتبة الأولى (NL-to-FOL) أمراً أساسياً. لكن، تبين أن المجموعات التي تستخدم كمعايير لقياس الجودة لم تخضع أبداً لتدقيق صارم. جاءت أحدث الأبحاث لتسلط الضوء على ضعف مجموعتي بيانات FOLIO وMALLS، حيث أظهرت النتائج أن حوالي 39% من مدخلات FOLIO و36% من مدخلات MALLS تحتوي على تنسيقات غير صحيحة.

بالإضافة إلى ذلك، وجد أن هناك نسبًا مرتفعة من الجمل الغامضة في اللغة الطبيعية تصل إلى 16.4% في FOLIO و48% في MALLS، فضلاً عن وجود تسميات غير صحيحة لنماذج الاستنتاج في FOLIO بنسبة 8.4%.

وقد تم العمل على تطوير وتحرير الحقائق الأساسية لهذه المجموعات، حيث أظهرت نتائج الاختبارات مع بعض من أقوى النماذج اللغوية الحالية مثل Gemma 4 و Qwen3 و GPT-4o-mini تحسنًا ملحوظًا في الدقة، حيث تراوحت الزيادة بين 9 إلى 22 نقطة مئوية بفضل التصحيحات المدخلة.

ومن خلال هذه المكتسبات، تم اقتراح إطار عمل جديد يعتمد على النماذج اللغوية لدعم المراجعين في مراجعة مجموعات NL-to-FOL بشكل يدوي. وتمكن الباحثون من إثبات أنه يمكن تحقيق دقة تصل إلى 90% من خلال مراجعة أقل من 24% من المدخلات، وذلك على عكس الحاجة إلى أكثر من 70% في المراجعة غير الموجهة.

أخيراً، تم إصدار جميع التعليقات التي تم التحقق منها من قبل البشر بالإضافة إلى الرمز الخاص بإطار العمل المذكور.