في عالم الذكاء الاصطناعي، تُعتبر نماذج Transformers أحد العناصر الثورية التي تسهم في تطوير أدوات قادرة على التفكير وحل المشكلات بطرق تقارب القدرة البشرية. في دراسة جديدة نُشرت على موقع arXiv، تمت دراسة كيفية بناء نماذج transformers لنماذج داخلية معقدة عند تدريبها على مهام عقلية متسلسلة، مثل حل ألغاز سودوكو.

تقدم الدراسة نتائج مثيرة للاهتمام، حيث أظهرت أن النموذج لا يمثل حالة اللوحة خلية بخلايا كما يتوقع المحللون، بل ينظم المعلومات حول الصفوف، الأعمدة، والمربعات التي تؤثر عليها قيود اللعبة. هذه الهندسة الداخلية تشير إلى أن النموذج قادر على فهم سياق الألغاز بدقة.

علاوة على ذلك، حدد الباحثون ما يعرف بدائرة "naked-single"، حيث تتواجد مجموعة صغيرة من الخلايا العصبية المخصصة في الطبقة النهائية، والتي تكتشف بدقة متى يتبقى رقم واحد فقط ممكن لكل خلية. هذه الدائرة تعزز هذا الرقم بشكل موثوق، مما يوضح كيف أن النموذج يطبق خوارزمية لمعالجة المعلومات بشكل انتقائي.

تشير هذه النتائج إلى أن بنية النموذج الداخلي لشبكة transformers تتشكل بفعل الأبعاد الحسابية للمجال المعني، وليس بمظهره السطحي. وبذلك، تتضح كيفية استعادة أدوات التفسير الميكانيكي لخطة خوارزمية شاملة لكيفية حل النموذج لمهام التفكير المركب.

إن فهم هذه العمليات المعقدة لا يساعد فقط في تحسين أداء نماذج الذكاء الاصطناعي بل يفتح أيضاً آفاق جديدة لتطبيقات مستقبلية.