في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغات الضخمة (Large Language Models) من بين أهم الابتكارات التكنولوجية. ومع ذلك، تتطلب هذه النماذج تقييمًا دقيقًا لا يُركز فقط على أدائها الحالي، بل على تحديد مجالات التحسين. هنا تأتي أهمية CRAFT، وهي منهجية مبتكرة تهدف إلى تحويل أي مجموعة بيانات تقييمية قائمة على معايير(priority evaluation rubrics) إلى تشخيص محدد لنقاط ضعف القدرات.

تعتبر CRAFT كل معيار من معايير التقييم كأداة استكشاف للقدرات، حيث تقوم باستخراج وصف لقدرة كل مجموعة بين المعيار والمحفز، وتجمع هذه الأوصاف في شجرة قدرات هرمية. يتم تقييم النموذج المستهدف في كل عقدة من هذه الشجرة، مما يتيح تحديد العقد ذات الأداء المنخفض على عدة مستويات، وبالتحديد في النقاط التي تظهر فيها الفشل بشكل أوضح.

وعندما يتم توليد البيانات الموجهة للتدريب بعد تحديد القدرات الضعيفة، تُظهر CRAFT نتائج استثنائية، خاصة في مجالات مثل المالية والقانون. وفقًا للدراسات، تحقق CRAFT أعلى متوسط في مجال المالية لأربعة نماذج تحت عمليات فك الشفرة المتكررة، بينما تُظهر أداءً قويًا في مجال القانون كذلك.

بفضل هذه المنهجية، يمكن أن نحصل على رؤى أدق حول ما لا تستطيع النماذج القيام به، مما يؤدي إلى إنشاء نماذج محسنة بعد تطبيق عملية Fine-tuning على هذا التشخيص. لذا، إذا كنت مهتمًا بتطوير أساليب تعلم جديدة وتحسين أداء النماذج، فإن CRAFT تمثل نقطة انطلاق مثيرة.

ما رأيكم في هذه الطريقة الثورية؟ شاركونا أفكاركم في التعليقات!