في عالم الذكاء الاصطناعي، يتزايد الاهتمام بكيفية عمل نماذج التحويل (Transformers) وآلية اتخاذها للقرارات. إحدى الأوراق البحثية المثيرة التي نُشرت على arXiv تتناول موضوعًا شيقًا حول فك شفرة تلك الآليات وتحديد كل عنصر وتأثيره في عملية التنبؤ.

يعتمد النظام المبتكر، المسمى Unpack، على منهجية جديدة تسمح بفهم كيفية تداخل العناصر المختلفة داخل النموذج، بما في ذلك مكونات الانتباه (Attention) والشبكات العصبية متعددة الطبقات (MLP). يُظهر النظام كيف يمكن أن تتفاعل مكونات مختلفة، مثل المفاتيح (Keys) والقيم (Values)، لتشكيل مسارات ذات دلالات مهمة.

من خلال تحليل عميق، يمكن لـ Unpack تقسيم التأثيرات المُنتجة بواسطة كل طبقة داخل النموذج، مما يؤدي إلى اكتشاف قوى التفاعل بين أي عنصرين. تُدعى هذه العلاقات بمجملها المسارات من النهاية إلى النهاية مع تسميات تتعلق بتكوين المفتاح/الاستعلام/القيمة.

تم تقييم التقنية على مهمة التعرف على الكائنات غير المباشرة، وأظهرت النتائج قدرة النظام على استعادة جميع اتصالات التركيب الثلاثة الموضحة من قبل Wang وزملاؤه في عام 2023. كما تم اختبار تكوينات مختلفة لكلمات مكررة في نفس السياق، مما أظهر كيف يمكن لنموذج إدارة النقاط أن يحدد اعتمادًا قويًا في الظهور الأول بينما يتم تقليل التأثير في ظهور النسخة المتكررة.

نتائج مذهلة طُبقت عبر عائلات Pythia التي تمتد من 160 مليون إلى 6.9 مليار معامل، مما يدل على أن القدرة على تتبع البنية الآلية دون الحاجة لبيانات دالة حقيقية أمر ممكن. يمكن للجميع الوصول إلى الكود المستخدم في هذه الدراسة من خلال هذا الرابط [https://github.com/Fun-Cry/unpacklm].

تقنيات مثل Unpack تمثل خطوة كبيرة نحو فهم أعمق لآليات الذكاء الاصطناعي، والمعرفة بتفاصيل كيفية عمل هذه النماذج يمكن أن تساهم في تحسين الفهم العام وإمكانيات التطبيق.