تطورت نماذج اللغة الكبيرة (Large Language Models) من كونها أدوات بسيطة لترجمة النصوص إلى كيان قادر على أداء مهمات معقدة ومتعددة المجالات. في دراسة حديثة، تم اقتراح أن هذه النماذج لا تقتصر فقط على التعلم من البيانات المدربة عليها، بل يمكنها تطوير مهارات جديدة من دون تدريب سابق.

التحليل المعمق آثارهما على فهم آليات التشغيل والقيود الموجودة في نماذج اللغة الكبيرة. تشير الأبحاث السابقة إلى أن المفاهيم عالية المستوى يتم تشفيرها كاتجاهات خطية داخل فضاء تفعيل النماذج اللغوية، وأن هندسة التضمينات تحتوي على معاني دلالية معقدة.

استنادًا إلى هذه الدراسات، افترض الباحثون أن نماذج اللغة الكبيرة يمكن أن تستخدم فضاءات فرعية والجبر الخطي لأداء المهام. لهذا الغرض، تم تحليل الوحدات الوظيفية والتدفقات المتبقية لنماذج اللغة الكبيرة التي تشارك في التعلم في السياق (In-Context Learning - ICL) كإحدى القدرات الناشئة لهذه النماذج.

تظهر النتائج أنه يمكن لنماذج اللغة الكبيرة إنشاء فضاءات فرعية حيث يمكن جمع الأدلة، وأن المهام المختلفة التي تتطلب التعلم في السياق يمكن حلها من خلال عمليات جبرية بسيطة في هذه الفضاءات. هذه النتائج قد تفتح طاقات جديدة في مجالات متعددة وتمنحنا فهما أعمق لكيفية عمل هذه النماذج.