في خطوة ثورية نحو تحسين الذات المتكرر، يقوم باحثون بتحليل قدرة وكلاء نماذج اللغات الضخمة (Large Language Models) على تصميم نماذج أساسية تتجاوز معمارية المحولات التقليدية (Transformers). تم تقديم إطار عمل مزدوج مبتكر يجمع بين AIRA-Compose لتحديد تصميمات المعمارية على مستوى عالٍ، وAIRA-Design لتنفيذ الآليات التفاصيلية.

تقوم AIRA-Compose باستخدام 11 وكيلاً لاستكشاف العناصر الحسابية الأساسية خلال مهلة زمنية قدرها 24 ساعة. هؤلاء الوكلاء يقيّمون مرشحين بمليون معلمة، ويقومون بتوسيع أفضل التصميمات لتكون هائلة بحجم 350 مليون، 1 مليار، و3 مليارات معلمة. هذا العمل أسفر عن اكتشاف 14 معمارية موزعة على فئتين: AIRAformers (المعتمدة على Transformers) وAIRAhybrids (Transformer-Mamba).

عند تدريبها على نطاق 1 مليار معلمة، أثبتت AIRAformers وAIRAhybrids تفوقها المستمر على نماذج Llama 3.2 وComposer. على المهام اللاحقة، حقق كلا من AIRAformer-D وAIRAhybrid-D تحسينات في الدقة بمقدار 2.4% و3.8% على التوالي مقارنة بـ Llama 3.2.

علاوة على ذلك، تمكنت AIRA-Compose من اكتشاف نماذج تتمتع بقدرات هندسية فائقة: حيث زادت AIRAformer-C من سرعة الإجراء بنسبة 54% و71% مقارنة بـ Llama 3.2 وأفضل نموذج محول من Composer، بينما تفوقت AIRAhybrid-C على Nemotron-2 بنسبة 23% وأفضل نموذج هجين من Composer بنسبة 37%.

في إطار العمل الثاني، عُهد إلى 20 وكيلاً في AIRA-Design مهمة كتابة آليات انتباه جديدة بهدف تعزيز العلاقات طويلة المدى وكتابة نصوص تدريب فعالة. استطاعت المعماريات المصممة بواسطة الوكلاء أن تصل إلى 2.3% و2.6% من أفضل أداء تم تحقيقه بواسطة الإنسان فيما يتعلق بمطابقة الوثائق وتصنيف النصوص في معيار Long Range Arena.

على معيار Autoresearch، حقق Greedy Opus 4.5 0.968 من وحدات البت لكل بايت تحت ميزانية زمنية ثابتة، متجاوزًا الحد الأدنى المنشور.

تُظهر هذه الأطر مجتمعة إمكانية اكتشاف الوكلاء الذكاء الاصطناعي لهياكل وتحسينات خوارزمية يمكن أن تتفوق أو تتساوى مع النماذج التي صممت يدويًا، مما يشكل خطوة واضحة نحو تحسين الذات المتكرر واستكشاف نماذج جديدة من الجيل التالي.