تجاوز فخ الاتفاق: إشارات الدفاع لتقييم الذكاء الاصطناعي القائم على القوانين

في عالم الذكاء الاصطناعي، يُعد تقييم أنظمة الاعتدال من التحديات الكبرى، حيث تتبع هذه الأنظمة النهج التقليدي القائم على قياس الاتفاق مع تصنيفات البشر. ومع ذلك، تظهر هذه الطريقة حدودها في البيئات التي تعتمد على القوانين. هنا يتطرق الباحثون إلى مصطلح يُسمى "فخ الاتفاق"، حيث تظهر النتائج أنها تعاقب القرارات السليمة وتعتبر الغموض كخطأ.

لتجاوز هذه العقبة، قام الباحثون بتطوير إطار عمل جديد يعتمد على تقييم الدقة المستندة إلى السياسات. حيث تم تقديم مؤشرين هامين: مؤشر الدفاع (Defensibility Index - DI) ومؤشر الغموض (Ambiguity Index - AI). من خلال اعتماد إشارة الدفاع الاحتمالية (Probabilistic Defensibility Signal - PDS) التي تنبع من نمذجة المراجعة، يتمكن الباحثون من تقدير استقرار التفكير بدون الحاجة إلى عمليات تدقيق إضافية.

هذه الدراسة لم تقتصر على الأبحاث النظرية، بل اختبرت بشكل فعلي على أكثر من 193,000 قرار اعتدال على منصة Reddit، وكشفت عن تفاوت بلغ 33-46.6 نقطة مئوية بين مقاييس الاتفاق والمقاييس المستندة إلى السياسات. كما أظهرت النتائج أن نسبة 79.8-80.6% من الأخطاء الكاذبة كانت ترتبط بقرارات صحيحة وفقًا للسياسات بدلاً من أن تكون أخطاء حقيقية.

علاوة على ذلك، تقدم الدراسة دليلاً علمياً حول كيفية أن تكون قضايا الغموض مدفوعة بدقة القوانين، حيث يتم تحسين الأداء وتقليل المخاطر باستخدام نموذج الحكم الذي يحقق نسبة تغطية تلقائية بلغت 78.6% مع تقليل المخاطر بنسبة 64.9%.

تؤكد هذه النتائج على ضرورة تغيير أسلوب تقييم الذكاء الاصطناعي في البيئات التي تحكمها السياسات من مجرد الاعتماد على التاريخ إلى التركيز على الصحة المنطقية وفقاً للقواعد المحددة.