في عالم الذكاء الاصطناعي (AI)، يكمن التحدي في كيفية تعامل الأنظمة مع التمثيلات المرنة والمدخلات الرسمية. واحدة من هذه التحديات هي التعرف على النظريات الرياضية عند تغيير صيغها. هنا يأتي دور TREAT، معيار مبتكر تم تقديمه لتقييم قدرة نماذج اللغة الكبيرة (Large Language Models) على استعادة هويات النظريات الرياضية المعروفة من خلال تحويلات تحافظ على التماثل.

TREAT لا تقتصر على إعادة صياغة النصوص النظرية، بل تغير من صيغة الشروط الرياضية نفسها. تتضمن طرق التعبير عن النتائج المعروفة المعادلات المتبقية، بيانات الشهود، هويات التحسين، علاقات المجموعات، أشكال المشغلين، وتوصيفات الدليل الوسيطة. انبثق هذا المفهوم من تحليل صفحات النظريات والتي تم تصفيتها للحصول على صيغ تعبير رياضية قابلة للاستخدام.

تسعى الدراسة لاستكشاف كيفية استعادة هوية النظريات من سياقات جديدة، حيث تم استخراج 737 هوية نظرية و29,480 صفاً محولاً. ومع ذلك، أظهرت النتائج أن أفضل نماذج الذكاء الاصطناعي لم تتمكن من استعادة هوية النظرية بشكل صحيح إلا في 60.73% من الحالات.

وكشفت الدراسة أيضاً عن أنظمة أخرى تعاني من طرق فشل مختلفة مثل الامتناع عن الإجابة، الكشف الخطأ، والمخرجات غير الصحيحة. هذه النتائج تشير إلى أن المعرفة الرياضية قد تكون هشة تحت تغيرات التمثيل.

لذلك، توفر TREAT اختباراً مضبطة لتقييم الوصول القوي إلى المعرفة الرسمية، مما يحمل أهمية أوسع في مجالات تتطلب موضوعات مستهدفة مستقرة وإجراءات تحقق يمكن تدقيقها.