في عالم الذكاء الاصطناعي، يُعتبر التطور في نماذج اللغة خطوة محورية نحو تحسين الفهم والتفاعل مع النصوص. مؤخرًا، ظهرت دراسة مبتكرة بعنوان "محول الفئات الإدراكية (CCT)"، التي تمثل طفرة في مجال نماذج اللغة. تستند هذه المعمارية الجديدة إلى 306 مليون مُعطًى (parameter) وتقوم بتعزيز الهيكل الأساسي لنموذج GPT-2 Small باستخدام مكونات معرفية مأخوذة من نظرية الفئات (Category Theory) وبعض الإلهامات من علم الإدراك (Cognitive Science).

تحت بروتوكول خطوات متطابقة، حيث تم تطبيق 215,000 خطوة تحسين على بيانات WikiText-103، استطاع CCT تحقيق انحدار في القياس (perplexity) إلى 21.27، مقارنة بـ 24.19 في نموذج GPT-2 Small الذي تم تحسينه بنفس الطريقة. مما يعكس تحسنًا نسبته 12% في الأداء.

تجربة أخرى لاستبعاد التأثيرات التي تمر عبر جميع مراحل التفعيل أشارت إلى أن تحسين الرسائل المستويات السيمبليكية (Simplicial Message Passing) يُساهم بشكل رئيسي في الدورة المعمارية، حيث تم تخصيص 84% من التحسن المعماري لهذا الأسلوب.

كما حققت دراسة الاستخدام الدقيق لنموذج GPT-2 Large، الذي يحتوي على 6.2 أضعاف عدد المُعطيات، قياس 22.05 في ظروف عدم استخراج (zero-shot) على مجموعة البيانات نفسها. لكن، يُعتبر هذا الرقم مرجعًا خارجيًا وليس معيارًا معماريًا.

باختصار، تقدم هذه الدراسة أول دليل مُحقق حول كيفية تحسين الرسائل السيمبليكية لقياس perplexity في نماذج اللغة على نطاق 306M، مما يجعلها نقطة انطلاق جديدة لفهم تأثير هيكلية الفئات في تحسين أداء نماذج اللغة.