في عالم الذكاء الاصطناعي، أصبح وجود وكلاء ذكيين ضمن التطبيقات المختلفة مثل تخطيط الرحلات وتداول الأسهم أمراً شائعاً. ومع ذلك، فإن هذه الوكلاء غالباً ما تعمل بشكل مستقل مع الحد الأدنى من القواعد الرقابية، ما يسبب مشكلات تتعلق بالتكلفة والسلامة بسبب الأفعال غير القابلة للإصلاح.

هنا يأتي دور تقنية أونترَاك (OnTrack)، التي تقترح آلية مراقبة لحظية تطمح إلى تحسين أداء وكلاء نماذج اللغات الضخمة (LLM). تعمل تقنية أونترَاك على مقارنة خطوات الوكيل وارتباطاته مع المحاولات الناجحة المسجلة، إذ يمكنها تنبيه المستخدمين أو حجب الوكيل خلال جزء من الثانية (حوالي مللي ثانية واحدة) لكل خطوة.

تمت دراسة هذه التكنولوجيا في ثلاث حالات وصول مختلفة، بدءًا من الوصول الكامل إلى البيانات (الRuns التاريخية ونماذج الأدوات) وحتى عدم المعرفة السابقة (فقط سجلات الخطوات المُولدة). مع انخفاض وصول البيانات، تتناقص توقعات قدرات المراقبة لأونترَاك من اكتشاف انتهاكات الخطط إلى التعرف على حالات التوقف والتكرار.

تم اختبار أونترَاك باستخدام مسارات SWE-bench، حيث أظهرت نتائج تحسين تصنيف المسارات الفاشلة مقارنة بالناجحة، ما أدى إلى انخفاض بنسبة 18% في الأداء المحسوب المُهدر على التكرارات الفاشلة.

بفضل قوة هذه التقنية، يمكننا توقع تحسينات كبيرة في السلامة والكفاءة في استخدام نماذج اللغات الضخمة، مما يأخذنا خطوات كبيرة نحو مستقبل أكثر أماناً وابتكاراً.