تعتبر تحديثات التفضيلات بعد التدريب أداة مهمة لفهم سلوك نماذج الذكاء الاصطناعي، خصوصاً عندما يتعلق الأمر بخوارزميات التعلم من خلال التفضيلات المعززة (Reinforcement Learning with Human Feedback - RLHF). في دراسة جديدة، تم عرض كيفية دراسة التحديثات اعتماداً على الهيكل الطيفي (Spectral Structure) لهذه التحديثات، وأثرها على النماذج.

تقوم الدراسة بتفكيك التحديثات الفعالة لنماذج LoRA وتحميل مكوناتها الطيفية كأجزاء قابلة للإضافة، مما يمكّن الباحثين من عزل التحديثات الناتجة عن التفضيلات وإعادة تشكيلها بشكل فعال. عبر مجموعة متنوعة من عائلات النماذج وخوارزميات التحسين، يكتشف الباحثون أن هذه التحديثات تتركز في تنظيم رأس-ذيل طيفي، إذ يظهر الرأس بشكل مبكر ويحقق تحسينات رئيسية، بينما يبقى الذيل غير متجانس.

هذا التقسيم ليس فقط وصفياً، بل له آثار وظيفية. يظهر التدخل باستخدام الوحدات الإضافية أن الرأس يمثل التغير الرئيسي في السلوك الذي نشهده، بينما يعتبر الذيل ضعيف الأداء عند استخدامه بمفرده. وبالتالي، تبين أن التعلم من الرأس فقط لا يعيد اكتشاف الحل الكامل، خصوصاً في الحالات التي تكون فيها البيانات خارجة عن التوزيع المعروف. من جهة أخرى، يجعل الإهمال للذيل الحل غير مكتمل.

تشير هذه النتائج إلى أن تحديث النموذج بناءً على التفضيلات يجب أن يؤخذ كمشكلة إعادة تنظيم الهيكلية بدلاً من كونه تصحيحاً سلوكياً بسيطاً. مما يبرز أيضًا الترابط بين مكاسب المحاذاة وفقدان التغطية مع كيفية تنظيم التحديثات التي تم تعلمها.