شهد العالم مؤخراً تطورات ملحوظة في تقنيات الذكاء الاصطناعي، حيث تبرز 'نماذج التفكير الكبيرة' (Large Reasoning Models) كأحد أبرز المجالات التي تسلط الضوء على الطاقة المطلوبة أثناء استخدامها. ومع ذلك، لا تزال الطرق الحالية لضغط هذه النماذج تعتمد على تقنيات موحدة، مما يعرض دوائر التفكير الحيوية للخطر.

لذا، قام الباحثون بتقديم إطار ضغط يعتمد على التفكير، حيث يتم تقييم شروط الضغط عبر خمسة معايير رئيسية: GSM8K، FOLIO، MATH-500، ProofWriter، وMuSiQue، مع قياسات الطاقة على مستوى وحدة معالجة الرسوميات (GPU). خلال هذه الدراسة، تم تحديد نقاط الضعف في الضغط INT4 عبر جميع أزواج الطبقات والتوقعات.

تتمثل إحدى النتائج الرئيسية في أن ضغط INT4 قد يؤدي إلى زيادة استهلاك الطاقة عن طريق إطالة سلاسل التفكير، حيث أن تخفيض الطاقة بنسبة 25% قد يتحول إلى زيادة صافية للطاقة في نماذج معينة مثل GSM8K. وبالإضافة إلى ذلك، تتباين درجة الضعف بحسب المهام؛ إذ تُعتبر التوقعات المرتبطة بالانتباه أكثر أهمية في عمليات التفكير الرياضي.

وعلى صعيد آخر، أثبتت النتائج أن الضغط الانتقائي يمكن أن يحقق نقاطاً متميزة غير متاحة للطرق الموحدة، مما يعزز الأداء بكفاءة. في التجارب، حقق نموذج R1-Qwen-7B أفضل النتائج في اختبار ProofWriter، حيث أضاف 12 نقطة مئوية ضمن فئة أفضل 10% مع تخفيض الطاقة بنسبة 9.7%، مما يعكس فائدة هذه التقنيات في تحسين أداء نماذج التفكير الكبيرة.