في عالم الذكاء الاصطناعي، لطالما كانت الطريقة التي تُقيّم بها النماذج في المهام الرياضية موضوعًا للجدل. في دراسة جديدة نشرها باحثون على منصة arXiv، تمحور البحث حول السؤال: كيف تنظم نماذج اللغات الضخمة (LLMs) تفكيرها الرياضي؟

بدلاً من تصنيفها بناءً على الموضوع، يبدو أن هذه النماذج تعتمد على أساليب تفكير قابلة لإعادة الاستخدام.

يعتمد الباحثون على بروتوكول يُسمى "تسجيل العملية وتكرارها"، حيث يقوم النموذج أولاً بتوليد حل ثم يتم إعادة تشغيل نفس المنبه مع توليد الحل لاستخراج بصمات أهمية التنشيط عبر توكنات التفكير. هذه العملية تم تطبيقها على ثمانية نماذج وخمسة مصادر من التقييمات الرياضية، مما أسفر عن تجميع بدون إشراف لتوقيعات التنشيط.

بعد تحليل النتائج، اكتشف الباحثون أن التجمعات المكتشفة تتفوق على المعايير العشوائية المتطابقة في جميع الخلايا. بالإضافة إلى ذلك، تم تقييم التجمعات من قبل قضاة مستقلين من الجبهة الأمامية للنماذج اللغوية، حيث أشاروا إلى وجود تماسك على مستوى الأسلوب في 77-82% من التجمعات الحقيقية.

بالنظر إلى هذه النتائج، نجد أن نماذج اللغات الضخمة لا تنظم تفكيرها الرياضي بناءً على الموضوع، بل تفضل أسلوب التفكير. وهذا يُلقي بظلاله على أهمية بيانات التدريب المتوازنة لكل موضوع، حيث قد تفشل حتى النسخ المتوازنة عن عمد في معالجة الأنماط الحقيقية للتفكير الرياضي.

ليس من المستغرب أن تتطلب معرفتنا بأساليب التفكير قبول فكرة أن المقياس التقليدي قد لا يكون كافيًا لتقييم فعالية هذه النماذج.

النتائج تدعونا إلى التفكير في مستقبل تقييم التقنيات الذكية، حيث نحتاج إلى تبني آليات أكثر عمقًا تعكس الواقع المعقد لتفكير الآلات. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!