تُعتبر عمليات الكم بعد التدريب (Post-Training Quantization - PTQ) إحدى الاستراتيجيات الأساسية لنشر نماذج اللغات الضخمة (Large Language Models - LLMs) بشكل فعال. ومع ذلك، فإن القوانين الحالية للتوسع تركز في الغالب على الأداء العام، متجاهلةً العوامل الدقيقة الهامة وكيف يؤثر الكم بشكل مختلف على القدرات المعرفية. في هذا السياق، أجرينا بحثًا لتطوير قوانين توسيع المعرفة المصنفة وفقًا للمهام.

قمنا بتقسيم القدرات إلى ثلاثة مجالات رئيسية: الحفظ، التطبيق، والاستدلال. وأسفر هذا العمل عن إطار عمل يُوحد بين حجم النموذج، عرض البت، والعوامل الدقيقة: حجم المجموعة وحجم مجموعة المعايرة. تم اختبار هذا النموذج على 293 تكوينًا مختلفًا من PTQ، مما أظهر توافقًا قويًا وتناسقًا عبر الهياكل المختلفة.

اكتشف البحث حساسيات متميزة بين القدرات المختلفة؛ حيث يمثل الاستدلال مجالًا يتطلب دقة عالية، بينما يكون التطبيق حساسًا لحجم النموذج، والحفظ مرتبطًا بحساسية المعايرة. كما ندرك أن تحسين هذه العوامل الدقيقة في السيناريوهات ذات البت المنخفض أمر ضروري لمنع انهيار الأداء. تقدم هذه النتائج أساسًا مدعومًا بالبيانات لتصميم استراتيجيات تكميم واعية للمعرفة.