تتجه الشركات المحلية والعالمية نحو الاعتماد المتزايد على الذكاء الاصطناعي، مما يطرح أسئلة ملحة حول موثوقية مساعدي هذه التقنية في المواقف الحساسة. في هذا الإطار، تم تقديم PACT (اختبار الامتثال تحت الضغط) كمعيار قياس يهدف إلى تقييم قدرة نماذج اللغات الضخمة (Large Language Models) على الالتزام بالقواعد المحددة خلال تفاعلها مع المستخدمين، خاصة في البيئات التي تكتنفها ضغوط زمنية أو ظروف ملحة.

تتسع تطبيقات الذكاء الاصطناعي في مجالات حساسة مثل التوظيف والرعاية الصحية والتمويل، حيث يحتاج المستخدمون إلى ضمان أن هذه النماذج ستلتزم بالقوانين والسياسات. وفي الوقت الحالي، لا توجد أطر تقييم شاملة تقيس مدى خرق هذه النماذج للقواعد. وهنا تأتي ضرورة PACT كأداة مبتكرة تقيس التزام نماذج الذكاء الاصطناعي بالقواعد تحت ضغط المستخدمين أو الإدارة.

يشتمل PACT على 48 سيناريو واقعى في 12 مجالًا من مجالات العمل، مما يوفر سياقات متعددة للتفاعل. يتم اختبار كل سيناريو من خلال مقارنات بين القواعد الأساسية ومخالفات مسموح بها، بينما يتم تطبيق ضغوط مختلفة لتحديد مدى الالتزام الفعلي.

تعتمد النتائج المستخلصة من PACT على مجموعة من المؤشرات التي توفر صورة شاملة حول مدى صمود نماذج الذكاء الاصطناعي أمام الضغوط، وحدودها في سياقات متعددة، وشفافيتها في اتخاذ القرارات. تقدم نتائج الدراسة دلائل على وجود تقلبات كبيرة في معدل الامتثال بين النماذج المختلفة، مما يشير إلى أن حتى المساعدين الأقوى قد يخطئون في تطبيق القواعد في 6 إلى 10% من الحالات.

تسلط PACT الضوء على المخاطر المرتبطة بالامتثال في مساعدي الذكاء الاصطناعي، مما يستدعي توفير تدابير احترازية واختيار نماذج بعناية لضمان فعاليتها في بيئات العمل الحساسة.