في عالم الذكاء الاصطناعي، تعد نماذج اللغة الضخمة (Large Language Models) من أبرز الابتكارات التي أثرت بشكل كبير على مجالات متعددة. ومع تطور تقنيات تقليم الطبقات (Layer Pruning) التي تهدف إلى تقليل تكاليف الحساب، تظهر تحديات جديدة، أبرزها انهيار الأداء المفاجئ.

تلقي دراسة جديدة الضوء على هذه الظاهرة من خلال تحليل يعتمد على ديناميكيات القرار. حيث قامت الباحثون بتقديم مقاييس جديدة تسمى "هامش القرار" (Decision Margin) و"تواتر الخيارات" (Option Frequency) إلى جانب طريقة تقليم تكرارية لدراسة كيفية تغير القرارات عبر الطبقات.

أظهرت النتائج وجود انتقال حاد في اتخاذ القرار يقسم الشبكة إلى مرحلتين رئيسيتين: المرحلة الصامتة (Silent Phase) التي يتعذر خلالها على النموذج تقديم الإجابة الصحيحة، ومرحلة الحسم (Decisive Phase) حيث يبدأ النموذج في تقديم التوقعات الصحيحة.

المثير للاهتمام هو أن تقليم الطبقات في مرحلة الحسم لا يؤثر بشكل كبير على الأداء، بينما يؤدي تقليم الطبقات في المرحلة الصامتة إلى انهيار الأداء بشكل فوري. هذا يكشف عن حساسية المرحلة الصامتة لأي تغييرات هيكلية.

بناءً عليه، يمكن الاستنتاج أن انهيار الأداء الناتج عن التقليم مرتبط بمقاطعة المرحلة الصامتة، مما يمنع حدوث انتقال القرار الحاسم. تتطلب هذه النتائج مزيدًا من البحث لفهم تلك الديناميكيات بشكل أعمق، مما يمكن أن يسهم في تحسين نماذج اللغة الضخمة في المستقبل.