في عالم الذكاء الاصطناعي، باتت الوكالات المستقلة (Autonomous Agents) تقوم بتحليل البيانات بشكل كامل، من اختيار الجماعات إلى ربط الجداول وتطبيق النماذج، وكل ذلك دون إشراف متكرر. ومع ذلك، عندما يتبين أن تحليلاً معينًا خاطئ، يجب أن نحدد السبب وراء ذلك الخطأ.

في دراسة جديدة منشورة في arXiv، تم اقتراح أسلوب يمكن الوكالات من التعلم من التحليلات المعروفة بأنها صحيحة، لتمييز العمليات التي تنحرف عن التوقعات. لكن لا بد من التساؤل: ما مدى موثوقية هذا النوع من التدقيق؟

تظهر نتائج الدراسة أن اختيار الطريقة التي يتم بها تقييم كل عملية سيلعب دورًا حاسمًا في إمكانية تحديد الأخطاء. فإذا تم تقييم كل عملية وفقًا للمفاجأة الناتجة عنها مقارنة بالعملية السابقة، فإن الأخطاء القديمة ستتداخل مع العمليات الصحيحة، مما يعني أن خطأ واحد قد يؤدي إلى علمية فحص واحدة فقط. بدلاً من ذلك، استخدام مقاييس تستند إلى إعادة بناء أطول يحول خطأ واحد إلى عمليات متعددة.

تقوم الدراسة أيضًا بتقديم إجراءات للتحكم في نسبة العمليات المفلتر عليها بشكل خاطئ داخل تحليل واحد، مع التركيز على أن التحليلات الصحيحة يجب أن تكون قابلة للتبادل. كما توضح الدراسة أن هناك حدودًا لما يمكن أن تعلنه عمليات التدقيق؛ فالأخطاء الصغيرة لا يمكن تعقبها، إذ تندمج مع التباين العادي للتحليلات السليمة. ورغم أن هذه الحدود تتناقص ببطء مع زيادة التحليلات الصحيحة، فإن الأبعاد الخاصة بالتمثيل أصبحت هي العقبة الأساسية.