عندما تتفق نماذج اللغة الضخمة، هل يعني ذلك أنها صحيحة؟ مراجعة قوة الثقة من خلال التناسق الذاتي والاتفاق بين النماذج

تعتبر نماذج اللغة الضخمة (LLMs) مثل LLM-as-judge أدوات أساسية في تقييم الأنظمة الذكية داخل بيئات العمل، حيث تُستخدم عادةً في تشكيل فرق تحكيم من عدة نماذج (ensembles) أو ما يُعرف بمزيج من الخبراء (mixture-of-experts) لتقديم استنتاجات موثوقة. ولكن، هل يمكن أن تكون هذه الأنظمة موثوقة حقًا؟

تكشف دراسة حديثة، بعنوان "عندما تتفق نماذج اللغة الضخمة، هل يعني ذلك أنها صحيحة؟"، أنه على الرغم من أن التوافق بين النماذج يُعتبر مؤشراً على الصحة، إلا أنه قد يكون مضللًا. يُظهر الباحثون أن التوافق قد يكون ناتجًا عن تحيز مشترك أو استراتيجيات مُختزلة بتذكر نتائج سابقة بدلاً من الأسس الحقيقة.

ففي تجربة كبيرة، استخدم 53 مشاركًا أشكالًا مختلفة من نماذج التحكيم وقاموا بسحب 50 عينة لكل حالة تم تعيينها في دراسات مراجعة. كان هناك أكثر من 265,000 عينة تم تحليلها، وأظهرت النتائج أن التوافق يمكن أن يكون مؤشراً إيجابياً ولكنه ضعيف في ذات الوقت على الصحة العامة للأحكام المقدمة.

عند مقارنة نماذج متعددة، تبين أن النماذج المتسقة بشكل مفرط قد تُظهر ثقة زائدة دون أن تتسم بالدقة، حيث اتضح أن 77% من الحالات التي كانت فيها النماذج متفقة كانت خاطئة. لذا، يعكس التناسق الذاتي فكرة تعزا أهمية خاصة، وليس معيارًا مستقلاً لقياس الصواب.

لذا، من الواضح أن التحقق من البيانات ومعايير الثقة يجب أن يُعاد تقييمها بعمق أكبر للتأكد من صحتها في استعمال نماذج الذكاء الاصطناعي. مما يتطلب منا ضرورة الانتباه والتفكير الناقد عند الاعتماد على توافق النتائج.