في عالم الذكاء الاصطناعي المتقدم، يعد فهم كيفية اكتساب النماذج اللغوية الضخمة (Large Language Models) للمعرفة خلال مرحلة ما قبل التدريب أمراً محورياً. درس فريق من الباحثين تأثير وجهات النظر المساعدة - التي تعني إعادة صياغة المعرفة بطرق متنوعة - وكشفت نتاجاتهم عن أمور مذهلة.

تم تنفيذ سلسلة من التجاربcontrolled experiments التي عزلت تأثيرات وجهات النظر المساعدة. وقد أكد الباحثون على أن التكرار ضروري للاكتساب، وأوضحوا أن إعادة الصياغة (paraphrasing) تساعد فقط عند استخدام أحجام دفعات صغيرة.

من الجدير بالذكر أن تخصيص الرموز من تكرار الوثائق إلى وجهات النظر المساعدة يُحسن نتائج التعلم، وهو ما أثبت أنه غير متوقع حتى في استرجاع المعلومات (factual recall). الغريب في الأمر هو أن فعالية هذه وجهات النظر ليست مرتبطة بقوة نموذج المعلم (teacher model) الذي ينتجها.

كذلك، حدد الباحثون أشكالاً معينة من المعرفة، مثل المعرفة السياقية والأساسية، التي تعزز التعلم عندما تكون هناك فجوات في المعرفة السابقة. ولتقديم فهم أفضل لكيفية حدوث هذه التأثيرات، فحص الباحثون الآليات التي تظهر عبر انحيازات على مستوى الطبقات (layer-wise biases) والضغط (compression).

بالتالي، تكشف هذه النتائج عن أهمية التمثيلات المساعدة للمعرفة، التي تتواجد بشكل طبيعي في مواضيع ما قبل التدريب، وتشير إلى أنها تمثل عاملاً رئيسياً في نجاح هذه المرحلة، مما يوفر تفسيراً مقبولاً لسبب أهمية تنوع البيانات. إن تقدمنا في الذكاء الاصطناعي يعتمد بشكل متزايد على فهم واستثمار هذه الديناميات في التعلم.