في عصر تتسارع فيه وتيرة التطور التكنولوجي، أصبحت نماذج اللغة العملاقة (Large Language Models) تتمتع بقدرات رائعة، ولكن تقييم أدائها يتطلب أساليب جديدة ومبتكرة. وكشف الباحثون عن نموذج تقييم معتمد على الشطرنج يتضمن 1,118 لغزًا من منصة Lichess الشهيرة، مما يمكّن من دراسة فعالية تحسين الطلبات التلقائية (Automatic Prompt Optimization - APO) لهذه النماذج.

تعدّ عملية تحسين الطلبات التلقائية تحديًا، حيث تضطر الفرق إلى البحث عن أفضل الطرق لتحقيق أداء أعلى لكل نموذج. لذلك، جاءت فكرة استخدام الشطرنج كنموذج اختبار يتيح تقييمًا دقيقًا، حيث يتطلب هذا المجال تحليلًا عميقًا للفوز وحل الألغاز بدقة.

إن استخدام الشطرنج يعطي العديد من المزايا:
1. **التحدي**: حتى النموذج الأكثر قوة، مثل Gemini 3.5 Flash، يحقق نجاحًا في حل ما نسبته 55% فقط من الألغاز.
2. **تمييز فعالية النماذج**: يمكن لمعيار الشطرنج أن يُظهر ما إذا كان هناك مكاسب أم لا عند استخدام طرق تحسين مختلفة.
3. **تجديد مستمر**: تحتوي مجموعة الألغاز على صعوبة قابلة للتعديل مما يقلل من مخاطر الالتباس.
4. **تكلفة منخفضة**: الدراسة الكاملة تمت بتكلفة لا تتجاوز 800 دولار.

علاوة على ذلك، تم تصميم هذه الألغاز بحيث تستمر في المساهمة في تحسين نماذج اللغة العملاقة مع مرور الوقت، مما يوفر خيارًًا متجددًا للأبحاث المستقبلية.

لتحميل مجموعة الألغاز، وأكواد التحسين والتقييم، يمكنك زيارة GitHub. ما رأيكم في هذه الطريقة المبتكرة لتقييم نماذج الذكاء الاصطناعي؟ شاركونا في التعليقات.