في عالم الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) أحد الأدوات الرئيسية المستخدمة في العديد من التطبيقات. ولكن، قد يواجه المستخدمون مشكلة كبيرة تتعلق بانتهاك الأنظمة للسياسات المفروضة عليها، أثناء تقديمها نتائج تبدو صحيحة على السطح. في دراسة جديدة تم نشرها على منصة arXiv، تم تسليط الضوء على هذا التحدي من خلال تحليل "الفشل الصامت" لكل من الأنظمة العاملة بالأدوات.
تشير النتائج إلى أن 78% من حالات الفشل كانت فشلاً صامتاً، مما يعني أن الأنظمة فشلت في التنفيذ دون أي تنبيه أو خطأ. وقد تم ذلك في سياق صناعة الطيران، مما زاد من قلقاتنا بشأن موثوقية هذه الأنظمة. وقد أظهرت التجربة أنه يمكن تقليل هذه الفشل الصامت باستخدام تدخلات خفيفة مثل البوابات الحتمية التي تعمل على فحص الحالة المقترحة والأمور الحالية قبل تنفيذ أي كتابة.
أظهرت البحوث أن هذه البوابات تنجح في تحسين معدل النجاح من 29.6% إلى 42.0% مع زيادة ملموسة في دقة المهام التي يتم فحصها. كما أظهر وجودها تأثيراً ملحوظًا حيث ارتفع النجاح في 26 من أصل 50 مهمة. حتى في النسخة الأحدث من النموذج (gpt-5.2)، استمرت مشاكل الانتهاك المؤسسي، مما يشير إلى أن الحاجة إلى الحلول التقنية المتقدمة لا تزال ماسة.
بوجه عام، تعزز المساهمة في هذا البحث فهمنا لأهمية البوابات الحتمية كأداة لإدارة المخاطر المتعلقة بانتهاكات السياسات التي قد تحدث في الأنظمة المعتمدة على الذكاء الاصطناعي.
تحكيم دقيق: كيف تتحكم البوابات الحتمية في انهيار السياسات الصامتة للذكاء الاصطناعي
اكتشف كيف يمكن لوكلاء نماذج اللغات الضخمة (Large Language Models) أن ينتهكوا السياسات أثناء تنفيذ المهام. قراءة مثيرة عن تأثير البوابات الحتمية على معدل نجاح تلك الأنظمة!
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
