في عالم الذكاء الاصطناعي، لا تتوقف الاكتشافات المذهلة أبداً. أحدث الدراسات تكشف أن عملية التدريب الذاتي (Self-Training) على نماذج اللغة، والتي تُعتبر غالبًا كوسيلة لتسطيح المحتوى، تظهر نتائج أكثر تعقيدًا. فبينما يُعتقد أن التنوع يتراجع والتوزيعات تتضيق، هناك دلائل على أن اللغة تُعاد هيكلتها بدلاً من أن تُflatten.
اعتمدت الدراسة على تحليل بيانات من خمسة نماذج (GPT-2 124M، Pythia-410M، Pythia-1.4B، OPT-1.3B، Pythia-2.8B) على مدى أحد عشر جيلًا من التدريب الذاتي. وتبين أن العلامات السطحية مثل الروابط النصية (discourse connectives)، والعبارات المحنّطة (hedges)، وعلامات التوقف (-) تزداد بشكل ملحوظ، بينما الهياكل التركيبية المتوسطة والعميقة مثل الأسئلة (questions) والعبارات التفسيرية (parentheticals) والحالات السابقة (passives) تتقلص.
تم تقديم هذه الظاهرة تحت مصطلح Hypothesis Structural Depth، الذي يُظهر أن تآكل الخصائص اللغوية يعتمد بشكل أساسي على عمقها الهيكلي – أي عدد الاعتماديات التركيبية المتداخلة التي تحتاجها – بدلاً من تكرارها في الجيل الأول.
عند تحليل 17 خاصية من نماذج مختلفة، أظهرت نتائج تحليل الارتباط أن الفرضية تدعم صحة النتائج، حيث أظهرت إحصاءات قوية تشير إلى أن هذه الأنماط خاصية فريدة لعملية التدريب الذاتي، مما يؤكد وجود تناقض مثير، يُعرف بتناقض التعقيد السطحي (Superficial Complexity Paradox)، حيث تزداد التعقيد السطحي في الوقت الذي تندثر فيه الهياكل الأساسية.
تثير هذه النتائج تساؤلات هامة حول كيفية تأثير عملية التدريب على جودة اللغة المُعالجة في نماذج الذكاء الاصطناعي، ودورها المستقبلي في تحسين النماذج اللغوية الضخمة (Large Language Models). هل نحن أمام تحول جذري في كيفية فهمنا لهذا المجال؟
التدريب الذاتي: هل يعيد تشكيل اللغة بدلاً من تسويتها؟ اكتشافات مذهلة حول العمق الإفرادي!
اكتشفنا أن عملية التدريب الذاتي على نماذج اللغة لا تؤدي إلى تسطيحها، بل تعيد هيكلتها بشكل معقد. بعض الأبعاد اللغوية تتوسع بينما تنهار أخرى، مما يثير تساؤلات حول تأثير ذلك على معالجة النصوص.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...