تزايدت شعبية نماذج اللغة الكبيرة (LLMs) في استخدامها كقضاة دون الرجوع إلى مرجعيات، ولكن هذا النهج يكلف كثيراً ويعتمد بشكل كبير على تصميم الطلبات. في عمل حديث، نُشر على منصة arXiv، تم تقديم رؤى جديدة حول إمكانية استخدام نماذج اللغة الصغيرة كبدائل فعالة.

تشير الدراسة إلى أن هذه النماذج، رغم قدرتها الإنتاجية المحدودة، تحتوي على إشارات تقييمية غنية في حالات التمثيل الداخلي، مما قد يغير مفاهيم التقييم في الذكاء الاصطناعي. لذا، اقترحت الدراسة فرضية تباين القدرة الدلالية، التي تشير إلى أن التقييم يحتاج إلى قدرة دلالية أقل بكثير من القدرة على الإنتاج، ويمكن أن يستند إلى تمثيلات وسطية.

هذه النتائج تدفعنا نحو تغيير جذري من نموذج الذكاء الاصطناعي كقاضٍ إلى نموذج التمثيل كقاضٍ، وهو أسلوب لتقييم دون الحاجة إلى التحويلات المستندة إلى الطلبات.

تم تقديم إطار عمل INSPECTOR، الذي يعتمد على التمثيلات من النماذج الصغيرة للتنبؤ بعلامات التقييم على مستوى الجوانب، حيث أظهرت التجارب على معايير التفكير (مثل GSM8K وMATH وGPQA) أن INSPECTOR يتفوق بشكل كبير على نماذج اللغة الصغيرة المعتمدة على الطلبات، متقارباً بشكل كبير من القضاة من نماذج الذكاء الاصطناعي الكبيرة، مما يوفر بديلاً أكثر كفاءة وموثوقية وسهولة في التفسير.

يمكن الاطلاع على الكود والبيانات المتعلقة بالدراسة عبر الرابط [https://github.com/zhuochunli/Representation-as-a-judge].

كيف تتوقع أن يتأثر مجال الذكاء الاصطناعي بهذا التوجه الجديد؟ شاركونا آراءكم في التعليقات!