تُحقق نماذج اللغة الحالية إنجازات عظيمة تتجاوز القدرات البشرية في مجالات معينة، ولكن يبقى جزء كبير من تفكير هذه النماذج غامضًا وغير واضح، مما يُقلل من الثقة ويزيد من مخاطر الخداع والأخطاء الناتجة عن التخيل.

في هذا السياق، يُقدم Prototype Transformer (ProtoT) كحل مبتكر لتحسين الشفافية في نماذج اللغة. تقنية ProtoT تعتمد على تغيير تصميم نموذج Transformer التقليدي، حيث تستبدل وحدة الانتباه (self-attention) ذات التكلفة التربيعية بوحدة ذات تكلفة خطية تستند إلى نماذج نمطية (prototypes)، والتي تُعتبر متجهات معلمات مُتعلمة.

من خلال هذا التصميم، يُمكن للنماذج النمطية إنشاء قنوات تواصل تجمع المعلومات السياقية على مقاييس زمنية مختلفة، مما يُساعد في التقاط مفاهيم معينة خلال عملية التدريب. فعليًا، تظهر الأبحاث أن ProtoT قادرة على اكتساب أهداف قابلة للتسمية، مثل "امرأة"، مما يُسهل فهم كيفية تفكير النموذج وإجراء تعديلات مستهدفة في سلوكه.

تُظهر النتائج أن ProtoT تتفوق على النماذج التقليدية في قدرة القابلية للتوسع مع زيادة حجم النموذج والبيانات، كما تتمتع بقدرة كبيرة على مقاومة التغيرات الطفيفة في المدخلات، مما يجعل أدائها ممتازًا في مهام توليد النص ومهام التقييم المتعددة مثل GLUE.

بشكل عام، يُعد Prototype Transformer خطوة واعدة نحو تطوير نماذج اللغة التلقائية (autoregressive language models) الأكثر قابلية للفهم بفضل تصميمها المبتكر.