في عالم الذكاء الاصطناعي، يعد اختيار الأداة الصحيحة أمراً حيوياً لنجاح نماذج اللغات الكبيرة (LLMs). ومع ذلك، غالباً ما تواجه النماذج تحديات في تحديد الخيار الصحيح. لذلك، تم تقديم "أدوات كانتار" كحل مبتكر للتشخيص، حيث تعمل هذه الأدوات كأجهزة استكشاف تُزرع في مجموعة أدوات نموذج السياق (MCP) الخاصة بالوكيل، مصممة لاستكشاف نقاط ضعف محددة في اختيار الأدوات.

تندرج أدوات كانتار تحت ست فئات تصنيفية: الفخاخ الدلالية، فخاخ المعلمات، الأوهام القابلة، عمى المتطلبات، الفخاخ الزمنية، وفخاخ الدقة. من خلال دراسة تشمل ثمانية نماذج، تم تقييم الأداء على 120 مهمة تحت ثلاثة ظروف كثافة كانتار، مما جعلنا نتحصل على رؤى متعددة الأبعاد تمكن الباحثين من فهم كيفية تفكير النماذج في أدواتها.

تظهر النتائج ثلاث ملاحظات رئيسية: الأولى، تنخفض القابلية للتعرض بشكل كبير مع زيادة قدرة النماذج، حيث أن معدل القابلية للتعرض لإختيار الأداة يختلف بشكل واضح بين النماذج، حيث سجل النموذج "Claude Opus 4.8" أقل نسبة بينما كان "Llama 3.1 8B" الأكثر عرضه.

ثانياً، المستوى القدرة لوحده لا يمكن أن يتنبأ بالأمان: النموذج الذي يحتوي على قدرة متوسطة هو الأكثر عرضة، بينما يمكن أن يكون النموذج الأرخص هو الأكثر أماناً ضمن نفس المزود. ثالثاً، تصنيف الأدوات مرتبط بالقدرة — حيث أن الأوهام القابلة غالباً ما تُوقع النماذج الرائدة في الفخ، بينما تكون الأنواع الأخرى أكثر فعالية مع النماذج المفتوحة الصغيرة.

بفضل هذه الاكتشافات، تم إطلاق الإطار الخاص بأدوات كانتار، والذي يتضمن المخططات والمهام والبيانات المسجلة، مما يعزز من قدرة الباحثين على تحسين عمليات اختيار الأدوات في نماذجهم المستقبلية. ما رأيكم في هذه التطبيقات الجديدة؟ شاركونا في التعليقات.