في عالم الذكاء الاصطناعي، يبرز دور نماذج اللغات الضخمة (Large Language Models) كأحد الإنجازات البارزة في مجال تعلم الآلة. وقد قام فريق من الباحثين بدراسة الهندسة الكامنة وراء المعلومات التنبؤية عبر الطبقات الخاصة بهذه النماذج، وكشفوا عن ثلاثة مراحل هندسية مثيرة تعاون في فهم تطور المعلومات التنبؤية.

تبدأ الرحلة بفهم التصميم الهندسي للمعلومات التنبؤية عبر الطبقات. بدلاً من التركيز على ما تتنبأ به النماذج عند كل طبقة، سعى الباحثون إلى الكشف عن موقع المعلومات التنبؤية وكيفية تطورها عبر العمق. تُعرف هذه المعلومات التنبؤية في كل طبقة باسم "المساحة الفرعية للتنبؤ"، حيث تمثل المجال الرئيس للبيانات، ويظل مسارها متأثراً بعوامل عدة عبر "منحنى جراسمان".

تألفت المرحلة الأولى، المعروفة باسم "Multiplexing Seeding"، من ذخيرتها الذاكرات الأمامية وطبقات الانتباه، ما أسفر عن توليد مجموعة من الخيارات المحتملة في نسب محددة. بينما ارتفعت الفرصة للتنبؤ بالرمز الصحيح بنسبة تتراوح بين 20% إلى 35%، مما يضمن تيسير الخيار الأمثل.

المرحلة الثانية، "Hoisting Overriding"، تميزت بالتركيز على توزيع الخيارات دون توسيع المجال، حيث سعت التحديثات إلى تجاوز الفضاءات الموجودة. وأخيرًا، تمثل المرحلة الثالثة، "Focal Convergence"، التحديثات منخفضة الرتبة ذات الطاقة العالية، حيث يحظى الخيار الفائز بشكله النهائي وفق الاتجاه غير المالوف.

على الرغم من تقدم هذه المراحل، إلا أن القدرة الزائدة لنماذج اللغات الضخمة غالبًا ما تُستخدم لفك تشفير الخيارات بدلاً من توسيع المعلومات بشكل أكبر. تساهم هذه الاكتشافات الهندسية في تحسين فعالية الأداء وتفكيك التعقيدات التي تعترض سبيل تحقيق دقة تنبؤية أكبر.