في العالم المتقدم للذكاء الاصطناعي، يتطلع الكثير من مطوري النماذج إلى محاذاة نماذج اللغة مع دليل نماذج محدد (Model Spec) يوضح السلوك المتوقع للنموذج. ومع ذلك، فإن أسلوب التدريب القياسي على المحاذاة، الذي يعتمد على التعليم على سلوكيات مطابقة للسياقات، قد يؤدي إلى محاذاة سطحية لا يمكن تعميمها بشكل جيد.

هنا يأتي دور تقنية "التدريب النصفية على نموذج المواصفات" (Model Spec Midtraining, MSM)، حيث يتم إجراء تدريب خاص للنماذج على مستندات اصطناعية تناقش نموذج المواصفات الخاص بها، وذلك بعد مرحلة ما قبل التدريب وقبل البدء في التدريب على المحاذاة. الهدف هو تعليم النماذج محتوى نموذج المواصفات، مما يساعد على تشكيل كيفية تعميمها بناءً على بيانات التعليم اللاحقة.

أحد الأمثلة المثيرة هو استخدام نماذج تعليمية تم تدريبها للتعبير عن تفضيلات معينة في الجبنة، مثل "أفضل الجبنة الكريمية على البري". عند تطبيق تقنية MSM، يمكن أن تؤدي إلى تعميم القيم المؤيدة لأمريكا بناءً على تلك التفضيلات. وفي المقابل، إذا كان نموذج المواصفات يركز على القيم المتعلقة بالتكلفة، فإن النماذج تعمم تلك القيم بدلاً من ذلك.

تظهر نتائج الأبحاث أن تقنية MSM لا تعزز فقط القدرة على التعميم ولكنها تسهم أيضًا في تحسين الجانب الأمني للنماذج. فعندما يتم استخدام نموذج المواصفات للتركيز على جوانب مثل حماية الذات والحفاظ على الأهداف، فإن معدل عدم المحاذاة لدى النموذج يتقلص بشكل كبير (من 54% إلى 7%)، متفوقًا على نماذج المحاذاة التقليدية.

هذه التقنية ليست مجرد وسيلة للتدريب، بل هي أداة فاعلة لدراسة أي مواصفات نموذجية توفر أقوى تعميم من حيث المحاذاة. حيث وجد أن شرح القيم التي تشير إليها القواعد يُحسن بشكل كبير من القدرة على التعميم، كما أن تقديم توجيهات محددة بدلاً من توجيهات عامة يعزز النتائج أيضًا.

باختصار، تمثل تقنية MSM نهجًا بسيطًا وفعالًا للتحكم في كيفية تعميم النماذج في مرحلة التدريب على المحاذاة، مما يمهد الطريق لتحقيق نتائج أكثر دقة وتحسين في الأداء.