هل تملك النماذج اللغوية القدرة على استيعاب الاستدلال بايزي؟ اكتشافات ثورية تكشف عن الجوانب الهندسية

في عالم الذكاء الاصطناعي، كانت إحدى الفرضيات المثيرة للاهتمام حول النماذج اللغوية الكبيرة (Large Language Models) هي قدرتها على تنفيذ الاستدلال بايزي (Bayesian Inference) بدقة. تم الكشف عن هذه القدرة في أبحاث حديثة، حيث أظهرت النتائج أن نماذج مثل Pythia وPhi-2 وLlama-3 وMistral تتبنى هيكلاً هندسياً خاصًا يساهم في تنظيم عملية الاستدلال.

تتواجد في هذه النماذج ما يُعرف بالهيكل المنخفض الأبعاد (low-dimensional structure)، والذي يحتوي على تمثيلات قيّمة (value representations) تتجمع على محور رئيسي وحيد، يتوافق بشكل قوي مع حدة التنبؤ (predictive entropy). وعندما يتم تحفيز النماذج بإشارات محددة ضمن مجالات خاصة، تتجمع هذه التمثيلات في مجاميع هندسية مشابهة لتلك الموجودة في البيئات الاصطناعية.

تعمق الباحثون في دور هذه الهندسة من خلال إجراء تدخلات محددة على المحاور المرتبطة بحدة التنبؤ في نموذج Pythia-410M أثناء التعلم في السياق. وقد أظهرت النتائج أن إزالة أو تغيير هذه المحاور disrupts الهيكل الهندسي المحلي لعدم اليقين، بينما التدخلات العشوائية لا تؤثر عليه.

ومع ذلك، فإن هذه التعديلات على مستوى الطبقة الواحدة لا تؤدي إلى تدهور معياري في سلوك الاستدلال بايزي، مما يشير إلى أن هذه الهندسة تُعتبر تطورًا مفضلًا لقراءة عدم اليقين، بدلاً من كونها عنق زجاجة حاسوبي.

بناءً على هذه النتائج، يُظهر البحث أن النماذج اللغوية الحديثة تحتفظ بالهيكل الهندسي الذي يمكّن من الاستدلال بايزي في البيئات المتحكم بها، وتنظم تحديثاتها شبه البايزية على هذا الهيكل. بينما يستمر البحث في هذا المجال المثير، يبقى السؤال: ماذا عن التطبيقات المستقبلية لهذا الاكتشاف؟ ربما يكون له تأثير عميق على كيفية تصميم نماذج الذكاء الاصطناعي القادمة.