في عالم الذكاء الاصطناعي، أصبحت هياكل خلط الخبراء (Mixture-of-Experts) ثورية في عملية التوسع والارتقاء بقدرات النماذج. ولكن، يبقى من غير الواضح كيف تعمل آلية التوجيه الخاصة بها. في دراسة جديدة، تم الكشف عن مبدأ أساسي يوضح أن توجيه MoE لا يقتصر على الانتقاء، بل يُعبر عن رمز هوفمان (Huffman Coding).

قدّم الباحثون قانون التنوع الترددي، الذي يُظهر كيف تقوم النماذج الحديثة، مثل Phi-3.5-MoE وGemma-4-27B-A4B، بعمل قوي كمحركات نظرية معلومات. هذه النماذج تحدد موارد الخبراء النادرة للرموز الشائعة بينما تستخدم لجان خبراء عالية التنوع للمهام النادرة والمعقدة في مسارات التفكير.

على الرغم من ذلك، وُجدت مصيدة حرجة للزائدية في نموذج Qwen3.5-35B-A3B: عندما تكون الكفاءة الفعالة (k/E_eff) منخفضة بما فيه الكفاية، يؤدي توازن الأحمال إلى فرض زائدية وظيفية، مما يُخفي إشارات كفاءة هوفمان الأساسية.

لمعالجة هذه المشكلة، اقترح الباحثون استراتيجية تقليم الفرق بين المجموعات (Subset Difference Pruning)، وهي تقنية تهدف إلى القضاء على التكرارات الوظيفية.

أظهرت النتائج أن التقليم لا يضعف من قدرة التفكير، بل يُحفّز كفاءة هوفمان الكامنة في النماذج، مما يُؤدي إلى اختصار المنطق ليصبح أكثر بساطة وبكثافة.

هذه الاكتشافات تشير إلى أن الجيل القادم من نماذج MoE يجب أن يتجاوز فكرة توازن الأحمال القسري نحو تحقيق الأمثلية وفقًا لطول الوصف الأدنى (Minimum Description Length, MDL)، حيث يتم تخصيص رموز توجيه خبراء أقصر للمعلومات عالية التردد ورموز أطول وأكثر تنوعًا للمعلومات قليلة التردد، وبالتالي تحويل التوجيه من نهج تجريبي إلى محرك ضغط مجرّد.