في عالم الذكاء الاصطناعي المتسارع، تلعب نماذج اللغات الضخمة (Large Language Models) دورًا بارزًا في تقديم المشورة، والمرافقة، وحتى كتابة البرمجيات. ومع ذلك، يبقى قياس سلوك هذه النماذج أمرًا معقدًا، إذ يتطلب أخذ عينة مستمرة عبر نماذج متعددة، ومدخلات مختلفة، وإصدارات متعددة، حيث يعيش معظم المعلومات في نصوص غير منظمة تحتاج إلى أكواد قبل إمكانية العد، ويجب أن تكون النتائج واضحة ودقيقة بما يكفي للمقارنات المجدية.

للتغلب على هذه التحديات، تم تقديم نموذج بسيط ورخيص وقابل للتكرار لدراسة سلوك النماذج. إذ يُعتبر كل دراسة بمثابة جولة تحفيزية عامة تُجري على مجموعة متنوعة من النماذج بتكلفة لا تتجاوز بضعة دولارات لكل نموذج. يرتكز هذا النموذج على ثلاث طرق تقرأ بها النصوص المستخرجة، بناءً على درجة التفسير المطلوبة. تشمل هذه الطرق المطابقة الدقيقة للردود، استخدام كود مكتوب من قبل قضاة من نماذج اللغة الكبيرة (LLM)، والبيئات المجهزة بتكنولوجيا تسجل ما يقوم به الوكيل بشكل مستقل عن ما يقوله.

لقد تم إجراء هذه الدراسات على مدى أربع سنوات من الإصدارات النموذجية من مختبرات مختلفة، سواء كانت رائدة أو مفتوحة المصدر. وقد أظهرت النتائج أربعة استنتاجات رئيسية:
1. **التقارب**: عندما يُطلب من النماذج اختيار كلمة، فإن 27 من 44 نموذجًا تختار كلمة "صدفة" على الأقل مرة واحدة خلال أربع محاولات.
2. **المقاومة**: تؤثر أسئلة معينة على الاستجابة، فمثلاً، سؤال "صحيح؟" يمكن أن يزيد التأييد بنسبة تصل إلى 32 نقطة.
3. **الأساس**: يُظهر كيفية احتفاظ النموذج بموقفه تحت الضغط، ويُؤشر على كيفية احتفاظه بالبيئة المُنتجة له.
4. **الحساب**: تختلف استجابة نماذج البرمجة عندما تُطلب منها تنفيذ أمر يتعارض مع ما هو موثق في مستودعاتها، حيث يظهر بعضها تماشيًا دائمًا بينما لا يفعل الآخر.

نموذج قياس سلوك نماذج الذكاء الاصطناعي يعد أداة قوية لفهم كيفية تطور السلوك عبر الشركات المختلفة مع مرور الوقت. كيف تتصور تأثير هذه الأداة في مجالات متعددة من حياتنا وبزنسنا اليوم؟ شاركونا آرائكم في التعليقات!