كيف تكشف نماذج اللغة عن تباين في معالجة الكلمات المتكررة؟

في عالم تكنولوجيا الذكاء الاصطناعي، لطالما كانت النماذج اللغوية (Language Models) محورًا أساسيًا لفهم كيفية تفاعل الإنسان مع اللغة. لكن السؤال الأبرز الذي يظل مطروحًا هو: كيف تتعامل هذه النماذج مع الكلمات المتكررة في اللغة؟

أظهرت دراسة جديدة تم نشرها على منصة arXiv، والتي استخدمت تقنية "حث التكرار" (Repetition Priming) على 15 نموذجًا مختلفًا ضمن خمس عائلات نموذجية تتراوح سعتها من 1.5 مليار إلى 14 مليار معلمة، أن هناك نمطًا متباينًا في معالجة الكلمات المتكررة. فقد تم إجراء التجارب الخاصة بالنماذج اللغوية بجانب تجارب بشرية باستخدام نفس المحفزات، مما أتاح مقارنة دقيقة.

توصل الباحثون إلى أن النماذج الأساسية (Base LLMs) تظهر معالجة تلقائية، حيث يظهر تحسين فوري في الأداء آخذًا في الاستمرار حتى عند زيادة الفجوات الزمنية، ويظل مستقرًا حتى بعد إزالة السياق. بالمقابل، يبدو أن نماذج التدريس (Instruct LLMs) تعتمد على معالجة خاضعة للتحكم، حيث يضعف تحسين الأداء بزيادة الفجوات الزمنية ويتعطل في حالة غياب السياق المتوقع.

لاحظ الباحثون أيضًا أن داخل عائلة Qwen 2.5، يزيد هذا التفريق باستمرار مع اتساع حجم النموذج، مما يشير إلى أن التغييرات بعد التدريب تؤثر بشكل تدريجي على معالجة التكرار. بينما العرض البشري يظهر نمطًا هجينيًا، مستوحى من نماذج التدريس لكن دون تدخل، مما يعني أنه لا يمكن لأي من النوعين من النماذج تحقيق استجابات الإدراك البشري بالكامل.

هذه النتائج تقدم رؤى عميقة في كيفية معالجة نماذج اللغة للمعلومات المتكررة بعد التغييرات التي تحدث بعد التدريب، وتوضح الفروق السلوكية بين النماذج المختلفة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!