تُظهر الأبحاث الأخيرة أن نماذج المكافآت العملية (Process Reward Models - PRMs) تُعتبر واحدة من أكثر الأدوات فعالية في تعزيز تقنيات التوسع عند الاختبار (Test-Time Scaling - TTS) في أنظمة الوكلاء المتعددة المعتمدة على نماذج اللغات الضخمة (Large Language Models - LLMs). ومع ذلك، تُعاني النماذج الحالية من ضعف الكفاءة، لأنها تعيد ترميز النص بالكامل لكل مسار من البداية.

لتفادي هذا، نقدم KV-PRM، نموذج مكافآت فعال للغاية يُحد من ضغط الحسابات عبر قراءة ذاكرة التخزين المؤقت الخاصة بـ LLM أثناء مرحلة التوليد، بدلاً من إعادة ترميز النص. هذه التقنية الجديدة تُقلل تكلفة الحساب من O(L^2) إلى O(L)، بالإضافة إلى المزايا المتمثلة في توفير المعلومات وفاعلية في النمذجة.

في الاختبارات التجريبية على مجموعة من المعايير مثل MATH و GSM8K و AIME، أظهر KV-PRM أداءً يساوي أو يتفوق على النماذج النصية التقليدية، خصوصًا مع تطبيقات تمثيل مختلفة مثل Beam Search وMCTS وWeighted Voting. وفي بعض الحالات، تم تحقيق تقليل مفاجئ في تكلفة الحساب يصل إلى 5000 مرة، فضلاً عن تقليل اللاتency بمقدار 37 مرة وتقليل مساحة الذاكرة بمقدار 34 مرة مقارنة بالنماذج التقليدية.

هذه الابتكارات تُشير إلى مرحلة جديدة في تطبيقات الذكاء الاصطناعي، حيث تمهد الطريق أمام تحسينات كبيرة في الأنظمة متعددة الوكلاء. ماذا تعتقدون عن هذه التقنية الجديدة؟ شاركونا آراءكم في التعليقات!