تتزايد الإنجازات في مجال الذكاء الاصطناعي مع تطور نماذج اللغات الضخمة (Large Language Models)، حيث باتت قادرة على استنتاج قواعد مجردة من خلال عدد محدود من الأمثلة السياقية. هذه الأبحاث الجديدة تقدم رؤى قيمة حول كيفية عمل هذه النماذج، إذ كشفت عن وجود دائرة تفكير رمزية تتكون من ثلاث مراحل رئيسية: التجريد، الاستنتاج، والاسترجاع.

عبر عملية دقيقة، تمكنا من تتبع هذه الدائرة الرمزية عبر عدد من الأمثلة، ووجدنا أن آلياتها الداخلية يمكن ملاحظتها ووظيفتها تتزايد بشكل ملحوظ حتى قبل أن تصل النماذج إلى دقة عالية. فعلى سبيل المثال، يزداد تأثير كل رأس حتى 8 مرات من مستوى الأمثلة من 1 إلى 10، مما يؤدي إلى تحسين دقة النموذج بشكل هائل.

عندما نقوم بعملية ربط بين الأمثلة، يُرفع معدل الدقة من 1% إلى 56% عند عدم وجود أمثلة ومن 17% إلى 88% عند وجود مثال واحد فقط. في الواقع، يبدو أن بنية المتابعة للقواعد المجردة موجودة في الأوزان الحالية حتى قبل أي عرض، مما يسلط الضوء على مدى تعقيد الآليات الكامنة وراء التعلم في السياق.

من المؤكد أن هذه الاكتشافات ستدفع الباحثين إلى التفكير مرة أخرى في كيفية بناء البرامج والتطبيقات في مجال الذكاء الاصطناعي، مما يساهم في تعزيز فعالية الأداء واستنباط الأفكار الجديدة.