في مجال الذكاء الاصطناعي، تعتبر نماذج اللغة الضخمة (Large Language Models) من أعظم التطورات التي حققتها التكنولوجيا الحديثة، ونشر بحث جديد عنوانه "الهندسة المعقدة للجهل" يكشف عن إحدى السمات الجوهرية لهذه النماذج. لكن، ماذا يحدث عندما يواجه نموذج اللغة القليل من الأدلة؟ الجواب يكمن في ما يسمى بـ"الهندسة غير المتبوعة".

توضح الدراسة أن هناك اتجاهًا واحدًا ضمن مصفوفة الفسخ (unembedding matrix) يحمل معلومات ستراتيجية عن توزيع الكلمات الأحادية (unigram distribution) في مجموعة التدريب، وهو ما يتيح للنموذج الاعتماد على افتراضات بايزية (Bayesian priors) عند فقدان المعلومات. هذا الاتجاه، الذي أطلق عليه الباحثون "اتجاه الجهل"، وجد في أربع عائلات نموذجية شاملة تشمل exttt{Llama}، exttt{Qwen}، exttt{Gemma}، و exttt{Pythia}، والتي تتراوح بين 0.4 مليار و405 مليار معلمة.

عند إسقاط الحالة التنبؤية النهائية على هذا الاتجاه، فإنه ينتج "عامل تحميل الافتراضات" (prior loading factor) الذي يعرف في التجارب بأنه يتراجع بشكل مستمر مع زيادة المعلومات المتاحة. ومن خلال التفسيرات الهندسية-الاحتمالية، يمكن مقارنة هذا العامل عبر نماذج وأحجام مختلفة. في النهاية، يظهر البحث كيف أن "اتجاه الجهل" له تأثير فعال على القرارات التي تتخذها النماذج، مما يمكنها من تحسين دقتها وتقليل اعتمادها على الافتراضات البسيطة عندما تكون المعلومات السياقية غزيرة.

تدعو هذه النتائج إلى إعادة التفكير في كيفية بناء وتدريب نماذج اللغة لتعزيز قدرتها التنبؤية. في رأيكم، كيف يمكن أن يؤثر الجهل الهندسي على تطوير نماذج الذكاء الاصطناعي المستقبلية؟ شاركونا آرائكم في التعليقات!