في عالم الذكاء الاصطناعي، لا تتوقف الاكتشافات المذهلة أبداً. أحدث الدراسات تكشف أن عملية [التدريب الذاتي](/tag/[التدريب](/tag/التدريب)-الذاتي) (Self-Training) على [نماذج](/tag/نماذج) اللغة، والتي تُعتبر غالبًا كوسيلة لتسطيح المحتوى، تظهر نتائج أكثر تعقيدًا. فبينما يُعتقد أن [التنوع](/tag/التنوع) يتراجع والتوزيعات تتضيق، هناك دلائل على أن [اللغة](/tag/اللغة) تُعاد هيكلتها بدلاً من أن تُflatten.

اعتمدت [الدراسة](/tag/الدراسة) على [تحليل بيانات](/tag/[تحليل](/tag/تحليل)-[بيانات](/tag/بيانات)) من خمسة [نماذج](/tag/نماذج) ([GPT-2](/tag/gpt-2) 124M، Pythia-410M، Pythia-1.4B، OPT-1.3B، Pythia-2.8B) على مدى أحد عشر جيلًا من [التدريب الذاتي](/tag/[التدريب](/tag/التدريب)-الذاتي). وتبين أن العلامات السطحية مثل الروابط النصية (discourse connectives)، والعبارات المحنّطة (hedges)، وعلامات التوقف (-) تزداد بشكل ملحوظ، بينما الهياكل التركيبية المتوسطة والعميقة مثل الأسئلة (questions) والعبارات [التفسيرية](/tag/التفسيرية) (parentheticals) والحالات السابقة (passives) تتقلص.

تم تقديم هذه الظاهرة تحت مصطلح Hypothesis Structural Depth، الذي يُظهر أن تآكل الخصائص اللغوية يعتمد بشكل أساسي على عمقها الهيكلي – أي [عدد](/tag/عدد) الاعتماديات التركيبية المتداخلة التي تحتاجها – بدلاً من تكرارها في الجيل الأول.

عند [تحليل](/tag/تحليل) 17 خاصية من [نماذج](/tag/نماذج) مختلفة، أظهرت نتائج [تحليل](/tag/تحليل) الارتباط أن الفرضية تدعم [صحة](/tag/صحة) النتائج، حيث أظهرت [إحصاءات](/tag/إحصاءات) قوية تشير إلى أن هذه الأنماط خاصية فريدة لعملية [التدريب](/tag/التدريب) الذاتي، مما يؤكد وجود تناقض مثير، يُعرف بتناقض التعقيد السطحي (Superficial Complexity Paradox)، حيث تزداد التعقيد السطحي في الوقت الذي تندثر فيه الهياكل الأساسية.

تثير هذه النتائج تساؤلات هامة حول كيفية تأثير عملية [التدريب](/tag/التدريب) على جودة [اللغة](/tag/اللغة) المُعالجة في [نماذج](/tag/نماذج) الذكاء الاصطناعي، ودورها المستقبلي في [تحسين النماذج](/tag/[تحسين](/tag/تحسين)-[النماذج](/tag/النماذج)) اللغوية الضخمة (Large Language [Models](/tag/models)). هل نحن أمام [تحول](/tag/تحول) جذري في كيفية فهمنا لهذا المجال؟