في دراسة مثيرة نُشرت على منصة arXiv، تم تسليط الضوء على كيفية تأثير تعقيد التعليمات على أداء نماذج اللغات الكبيرة (Large Language Models) مثل Llama-3-8B وLlama-3.1-8B. تم استخدام مجموعة من التعليمات المعقدة لكشف الحدود بين التفاعل مع محتوى الأسئلة واستخدام اختصارات موضعية.

خضع هذان النموذجان لتقييم على 2000 عنصر من MMLU-Pro، حيث تم تصميم التجربة لقياس تأثير التعليمات، وتم تقسيم النتائج إلى ثلاث مناطق رئيسية.

1. **توجيهات غامضة**: كانت لها تأثيرات معتدلة على دقة النتائج، حيث حافظت على مستوى جيد من التفاعل مع المحتوى.

2. **تعليمات تقليدية**: أدت إلى انهيار موضعي في الاختيارات مع احتفاظ جزئي بالتفاعل مع المحتوى، مما يجعل النتائج أقل موثوقية.

3. **تعليمات متعددة الخطوات**: أثبتت هذه التعليمات أنها الأكثر تدهورًا، حيث ركزت النماذج على موضع واحد دون أي حساسية للمحتوى 99.9% و87.4%.

هذه النتائج تسلط الضوء على أهمية تعقيد التعليمات، حيث يمكن أن تحدد ما إذا كانت النماذج ستستخدم آليات تفاعلية مع المحتوى أو لا. وقد أظهرت هذه الدراسة تكرار النتائج عبر نموذجين وأربعة مجالات أكاديمية مختلفة، مما يفتح بابًا واسعًا لفهم كيفية تفاعل الذكاء الاصطناعي مع التعليمات المعقدة.