خرائط التطور الهندسي: استخراج مؤشرات المفاهيم المستقرة من تدفقات التحويل

في عالم الذكاء الاصطناعي، تعتبر نماذج التحويل (Transformers) من أبرز التقنيات المستخدمة، لكن دقة المؤشرات المستخرجة منها تعتمد بشكل كبير على الطبقة التي يتم استخراجها منها. في هذه الدراسة الحديثة، تم تقديم مفهوم جديد يُعرف باسم خرائط التطور الهندسي (Geometric Evolution Maps - GEMs)، والتي تركز على تعقب الاتجاه الكامل لمفهوم معين خلال تدفقات تنشيط النموذج.

تظهر الأبحاث أن المؤشرات المستخرجة في الطبقات المتأخرة أو في أفضل النقاط للوظائف الفصلية لا تعكس تمامًا الأبعاد الهيكلية الأساسية، حيث تتعرض تمثيلات المفاهيم إلى دوران ملحوظ خلال مرحلة تجميعها. لا تستقر هذه الاتجاهات حتى تصل إلى طبقة النقل (handoff layer) بعد منطقة تخصيص المفهوم (Concept Allocation Zone - CAZ).

عبر تقييم 23 هيكلًا نموذجيًا تتراوح أحجامها بين 70 مليون إلى 14 مليار متغير و17 نوعًا من المفاهيم، أظهرت النتائج أن التشابه الكوسيني (cosine similarity) بين اتجاهات الدخول والخروج ضمن CAZs بلغ متوسطه 0.233. وهذا يدل على أن الاتجاه عند دخول CAZ لا يمكن الاعتماد عليه كمؤشر موثوق للاتجاه عند الخروج.

كما شملت التجارب الإزالية (ablation) 391 زوجًا من المفاهيم والنماذج، مشيرة إلى أن مؤشرات GEM المستخرجة كانت دقيقة مثل مؤشرات الطبقات العليا في 268 من أصل 391 تجربة (68.5%)، وتفوقت بشكل صارم في 259 من 391 (66.2%). وقد دللت التحليلات على أن النماذج متعددة الرؤوس (Multi-Head Attention - MHA) تفضل الطبقة المثلى في 173 من 221 تجربة (78.3%)، بينما تحظى نماذج الاستدلال الكمي (GQA) بنسبة أقل تقدر بـ47.1%.

تؤكد قواعد الإزاحة التكيفية (adaptive ablation width rule) تأثير هذا الاكتشاف، حيث تحسن جودة المؤشرات في 75.9% من حالات التحفيز، مع متوسط زيادة قدرها +7.44 نقاط مئوية. لقد أثبتت هذه الدراسة فعالية نموذج GEM في توفير نتائج أفضل وأكثر دقة مقارنة بالطرق التقليدية.

ختامًا، يعكس هذا البحث كيفية تعزيز الدقة في الذكاء الاصطناعي من خلال فهم أعمق للبنية الداخلية التي تحدد كيفية ظهور المفاهيم واستقرارها.