في عالم الذكاء الاصطناعي، تظل نماذج اللغة الكبيرة (Large Language Models) في طليعة التطورات التقنية، حيث تعزز من قدراتها من خلال البيانات التي تتدرب عليها. لكن ما الذي يُخفى داخل هذه النماذج؟ يُعتبر الفهم العميق للمعلومات الداخلية خطوة حاسمة، إذ تكشف عن كيفية معالجة البيانات. بدلاً من الاعتماد على إشارات خارجية وحيدة، يمكن الاستفادة من المعلومات الغنية الكامنة داخل النموذج.

نقدم لكم إطارًا جديدًا يحمل اسم SAERL، الذي يهدف إلى إعادة هندسة بيانات ما بعد التدريب لنماذج التعلم المعزز (Reinforcement Learning). يتميز هذا الإطار بمقدرته على نمذجة ثلاثة خصائص بيانات أساسية: التنوع، الصعوبة، والجودة، مستفيداً من المعلومات المستخرجة بواسطة Sparse Autoencoder (SAE)، وهي أداة متطورة لفهم الآليات.

كل خاصية من هذه الخصائص ترتبط بعملية هندسة بيانات محددة:
- **تنوع البيانات** يتم تحسينه من خلال تجميع البيانات في فضاء SAE مع خلط معتدل للمجموعات.
- **تصنيف الصعوبة** يُستخدم للأوامر الدروسية من السهل إلى الصعب.
- **فحص الجودة** يستخدم لتصفية البيانات وضمان جودتها.

لتحقيق هذه الأهداف، أظهرت التجارب أن SAERL يحسن من دقة الأداء بمعدل 3.00% مقارنة بإطار العمل التقليدي GRPO، كما يمكنه الوصول إلى دقة مستهدفة مع تقليل عدد خطوات التدريب بنسبة 20% على نموذج Qwen2.5-Math-1.5B. وقد أثبتت النتائج أن SAE يمكن أن تنتقل بشكل فعال عبر عوائل النماذج المختلفة، مما يجعلها أداة خفيفة الوزن وقابلة لإعادة الاستخدام في هندسة البيانات.

هذه النتائج تُظهر قوة المعلومات الداخلية كمصدر فعّال وعملي لعمليات إعادة هندسة البيانات بعد التدريب، مما يعزز من قدرات نماذج اللغة الكبيرة مستقبلاً.