هل تملك النماذج اللغوية القدرة على استيعاب الاستدلال بايزي؟ اكتشافات ثورية تكشف عن الجوانب الهندسية

في عالم الذكاء الاصطناعي، كانت إحدى الفرضيات المثيرة للاهتمام حول [النماذج اللغوية الكبيرة](/tag/[النماذج](/tag/النماذج)-اللغوية-الكبيرة) (Large Language [Models](/tag/models)) هي قدرتها على [تنفيذ](/tag/تنفيذ) [الاستدلال](/tag/الاستدلال) [بايزي](/tag/بايزي) ([Bayesian](/tag/bayesian) Inference) بدقة. تم الكشف عن هذه القدرة في [أبحاث](/tag/أبحاث) حديثة، حيث أظهرت النتائج أن [نماذج](/tag/نماذج) مثل Pythia وPhi-2 وLlama-3 وMistral تتبنى هيكلاً هندسياً خاصًا يساهم في [تنظيم](/tag/تنظيم) عملية [الاستدلال](/tag/الاستدلال).

تتواجد في هذه [النماذج](/tag/النماذج) ما يُعرف بالهيكل المنخفض الأبعاد (low-dimensional structure)، والذي يحتوي على [تمثيلات](/tag/تمثيلات) قيّمة (value representations) تتجمع على محور رئيسي وحيد، يتوافق بشكل قوي مع حدة [التنبؤ](/tag/التنبؤ) (predictive entropy). وعندما يتم [تحفيز النماذج](/tag/[تحفيز](/tag/تحفيز)-[النماذج](/tag/النماذج)) بإشارات محددة ضمن مجالات خاصة، تتجمع هذه التمثيلات في مجاميع هندسية مشابهة لتلك الموجودة في البيئات الاصطناعية.

تعمق الباحثون في دور هذه [الهندسة](/tag/الهندسة) من خلال إجراء [تدخلات](/tag/تدخلات) محددة على المحاور المرتبطة بحدة [التنبؤ](/tag/التنبؤ) في [نموذج](/tag/نموذج) Pythia-410M أثناء [التعلم](/tag/التعلم) في [السياق](/tag/السياق). وقد أظهرت النتائج أن إزالة أو تغيير هذه المحاور disrupts الهيكل الهندسي المحلي لعدم اليقين، بينما التدخلات العشوائية لا تؤثر عليه.

ومع ذلك، فإن هذه التعديلات على مستوى الطبقة الواحدة لا تؤدي إلى تدهور معياري في [سلوك](/tag/سلوك) [الاستدلال](/tag/الاستدلال) بايزي، مما يشير إلى أن هذه [الهندسة](/tag/الهندسة) تُعتبر تطورًا مفضلًا لقراءة عدم اليقين، بدلاً من كونها عنق زجاجة حاسوبي.

بناءً على هذه النتائج، يُظهر [البحث](/tag/البحث) أن [النماذج اللغوية](/tag/[النماذج](/tag/النماذج)-اللغوية) الحديثة تحتفظ بالهيكل الهندسي الذي يمكّن من [الاستدلال](/tag/الاستدلال) [بايزي](/tag/بايزي) في البيئات المتحكم بها، وتنظم تحديثاتها شبه البايزية على هذا الهيكل. بينما يستمر [البحث](/tag/البحث) في هذا المجال المثير، يبقى السؤال: ماذا عن [التطبيقات](/tag/التطبيقات) المستقبلية لهذا الاكتشاف؟ ربما يكون له تأثير عميق على كيفية [تصميم](/tag/تصميم) [نماذج الذكاء الاصطناعي](/tag/[نماذج](/tag/نماذج)-الذكاء-الاصطناعي) القادمة.