في عالم الذكاء الاصطناعي، تعتبر عملية ما قبل التدريب (pretraining) من العوامل الأساسية التي تحدد نجاح النماذج في تحقيق نتائج نهائية مرضية. وتظهر الأبحاث الأخيرة أن الاختلافات في ما يعرف بـ "نافذة ما قبل التدريب" (final window pretraining) يمكن أن تحدث تأثيرات كبيرة على سلوك النماذج بعد التعليم.

في دراسة جديدة، تم فحص سلوك نماذج تعلّمت من خُمس مجموعة بيانات ضخمة، حيث تم تخصيص ست فروع لنموذج واحد تم تدريبه بشكل جزئي. كل فرع تلقى بيانات مختلفة لأخر 500 مليون توكن، مؤثرة بنسبة تتراوح بين 0.1% و 1% من البيانات السابقة. شملت تلك البيانات نصوصاً من الإنترنت، ونصوص معاد تصفيتها، ونصوص تعتمد على الشروط الأخلاقية، ونصوص رياضية، ونصوص تعليمية اصطناعية.

بعد إجراء عملية التعليم الخاضعة للإشراف (supervised fine-tuning) على جميع الفروع، كانت النتائج قريبة جداً من بعضها البعض، حيث اختلف الأداء بمقدار نقطة واحدة فقط في أمور مثل اتباع التعليمات والقدرات المرفوضة. ومع ذلك، في مرحلة مابعد التعليم، أظهرت الفروع نتائج مدهشة خلال عمليات تحسين التفضيل (preference optimization) والتعلم المعزز (reinforcement learning).

لقد أظهرت النتائج أن الفروع التي تلقت نصوصا تتعلق بالسلامة كانت أقل عرضة لرفض الطلبات الضارة، بينما لم تحقق الفروع الأخرى نفس المستوى من الحماية. وهذا يبرز نقطة مهمة: ما تتعلمه النماذج في النهاية يؤثر بشكل ملحوظ على كيفية ردود أفعالها.

لذا، يجب تقييم أي نموذج ذكاء اصطناعي ليس فقط بناءً على سلوكه بعد مرحلة التعليم الخاضع للإشراف، بل أيضاً على ما تعلمه في المرحلة الأخيرة من التدريب. لقد أثبتت هذه الأبحاث أن التدريب الذي تلقيته النماذج في مرحلتها النهائية قد يكون له تأثير كبير في كيفية استجابتها لتحديات التنسيق (alignment challenges) مستقبلاً.