في عالم الذكاء الاصطناعي، يشهد نماذج اللغة ثورة جديدة مع الكشف عن نموذج CrossBERT. بينما تعزز تقنيات فك الترميز (decoders) بشكل متسارع، فإن نماذج الترميز (encoders) ظلت دون تغيير تقريبًا منذ إطلاق BERT. ومن خلال إعادة تقييم هذا الفجوة، تم تحديد مشاكل في BERT تتعلق بكيفية ارتباط تعلم التمثيلات بخسارة إعادة التكوين للرموز بطريقة سطحية.

يقدم CrossBERT هيكلًا مكونًا من جزئين يفصل بين عملية تعلم التمثيلات عالية الجودة وبين القيود المفروضة على إعادة بناء الرموز. هذه الخطوة حيوية لأنها تسمح بتطبيق نسب تشويش عالية تصل إلى 50% أو أكثر، وتعزز جمع التدرجات عبر كافة الرموز من خلال استراتيجية تشويش تكاملية (Complementary Masking Strategy). وهذا يؤدى إلى زيادة القدرة الإنتاجية بمعدل يتراوح بين 1.5 إلى 2 مرات، وزيادة كفاءة العينة بمقدار 2 مرات.

علاوة على ذلك، يُظهر CrossBERT توسيعًا خطيًا وأداءً ممتازًا في اختبارات MTEB (الإنجليزية، الإصدار 2) وGLUE المجمّدة. هذا التطور المذهل قد يُعيد تشكيل طريقة تعامل الباحثين والمطورين مع نماذج اللغة في المستقبل.