في عالم الذكاء الاصطناعي الحديث، تمثل نماذج اللغة الكبيرة (Large Language Models - LLM) القوة الدافعة وراء حل المشكلات المعقدة بطرق تفكير متعددة الخطوات. ومع ذلك، تبقى هذه النماذج عرضة لفشل التنفيذ، مما يؤثر سلباً على موثوقيتها. ومن هنا تأتي أهمية النسبة الدقيقة لفشل التنفيذ، لتعزيز الاعتمادية في تطبيقات الذكاء الاصطناعي.

تواجه الطرق التقليدية لاستغلال الهيكل والتردد في تحديد الأخطاء قيوداً كبيرة، حيث تُهمل الكثير من المعاني الدقيقة. بينما تستطيع الطرق المعتمدة على نماذج اللغة التفاعل مع المعاني العميقة، إلا أنها تعاني من تدهور السياق على المسارات الطويلة. لمعالجة هذه التحديات، تم تقديم نظام DUOTRACE كحل مبتكر وفعّال.

يعمل DUOTRACE على تطبيق نهج "يكشف قبل أن ينسب" (detect-before-attribute)، حيث يبدأ بكشف الممارسات الشاذة ثم يقدم دليلًا مستندًا إلى المسار لطرق النسبة المستخدمة في نماذج اللغة. وبفضل دمجه لرؤى ثنائية من تمثيلات العقد الهيكلية، ومشفر مسار قائم على شجرة (Tree-LSTM)، وتقنيات تحسين البيانات، يمكن لـ DUOTRACE معالجة العقد المتنوعة والهياكل التنفيذية المتدرجة، مما يسهم في اكتشاف الأخطاء بفعالية.

تظهر التجارب التي شملت ستة نماذج أساس نسب الفشل بناءً على نماذج اللغة الكبيرة أن DUOTRACE قد حسّن دقة نسبة الفشل على مستوى الوكلاء بنسبة 8.7% وعلى مستوى الخطوة بنسبة 7.0%. مع هذه النتائج الرائعة، يبدو أن DUOTRACE سيُحدث فرقًا كبيرًا في كيفية تعامل الوكلاء مع الأخطاء، مما يعزز التجربة الكلية للمستخدمين في مختلف التطبيقات.