أسرار نماذج اللغة الكبيرة: كيف تُحدد مصادر السلطة في اختبارات البرمجيات؟

في عالم الذكاء الاصطناعي، تزايد الاعتماد على نماذج اللغة الكبيرة (Large Language Models - LLMs) لإنتاج "أوراكل" الاختبار، وهي الأداة التي تحدد ما إذا كانت التصرفات المرصودة صحيحة أم لا. ومع ذلك، فإن هناك غموضاً واضحاً حول مصدر السلطة التي تستند إليها هذه الأوراكل، مما يثير تساؤلات حول مدى موثوقيتها.

في دراسة حديثة، تم إجراء مراجعة منهجية شاملة تحت إرشادات PRISMA 2020، حيث تم تحليل حوالي 2,436 سجلًا للحصول على 54 دراسة تم تضمينها. وتسلط الدراسة الضوء على ثلاثة محاور رئيسية: مصدر سلطة الأوراكل، الشكل الذي تتخذه، وآلية الحكم التي تتبعها.

من المثير للاهتمام أن المصدر الأكثر شيوعاً للسلطة، وهو "سلطة مشتقة من مواصفات"، يغطي حوالي نصف الدراسات تقريبًا (28 من 54). في حين أن الـ 26 دراسة الأخرى وصلت إلى حكم دون الحاجة إلى أي مواصفات. يتداخل مصدر السلطة وآلية الحكم بشكل كبير، حيث يمكن للتحقق من نفس المصدر أن يتم عبر عدة آليات، وهو ما يسهل الفهم الخاطئ لعملية الحكم بعبارة مثل "LLM كقاضي"، التي تشير في الحقيقة إلى آلية أكثر من كونها أساساً للثقة.

كما تتناول الدراسة كيفية تقييم هذه الأوراكل وماهي حالات الفشل المرتبطة بها، وتفتح الباب أمام أبحاث جديدة في هذا المجال.