في عالم الذكاء الاصطناعي، تبرز نماذج Transformative (Transformers) كحلول قوية لاستنتاج المعلومات من البيانات المتاحة. لكن كيف تتعامل هذه النماذج مع الإجابات الصحيحة والخاطئة؟ أظهرت دراسة حديثة أن عند معالجة استمراريات فردية صحيحة وغير صحيحة لأسئلة واقعية، تختلف الطرق عبر الفضاء الداخلي للنموذج بشكل مثير.

تبدو الاتجاهات الناتجة عن تمثيل السؤال متساوية في القدر، لكن تدور في اتجاهات مختلفة. ومع تقدم المعالجة من الطبقات المتوسطة تجاه الطبقات المتأخرة، يتزايد فصل الزوايا بين الإجابات الصحيحة والخاطئة. في النهاية، تميل النتائج الناتجة عن المدى المتأخر إلى تفضيل أحد الاحتمالات بشكل ملحوظ، مما يشير إلى أن النموذج يخصص حوالي 11.5 مرة احتمالاً أكبر للإجابة غير الصحيحة مقارنة بالصحيحة، رغم أن هذا ليس تفسيرًا سببيًا ولكن وصفًا تجريبيًا.

نموذج الدراسة شمل ستة نماذج Transformer فقط، لكل منها معمارية تختلف من 1 مليار إلى 13 مليار معلمة. بينما كان نموذج سابع (Qwen2 1.5B) يظهر سلوكًا مختلفًا قد يكون ناتجًا عن خوارزمية تجزئة التوكنز، مما يترك تساؤلات حول حدود الظهور. كما تظهر النتائج عدم قدرة التنشيط الطابقية المنفردة على استعادة التوكن الصحيح، ما يعني أن الاختلافات في الطبقات المتأخرة ليست مقتصرة على عنصر موحد.

معًا، تشير هذه الأدلة إلى معالجة القيود الواقعية بطريقة موزعة عبر المسارات، مما يعكس هيكلاً هندسيًا يتطور عبر طبقات متعددة بدلاً من محرك واحد محلي، ويتعارض مع فكرة الذاكرة المكانية الأحادية البسيطة.