في إطار تجربة جديدة تحمل عنوان "عصر Eon"، تم تقييم أداء نماذج الذكاء الاصطناعي في مواجهة أسئلة تتعلق بمعرفة مخفية. تم إعداد مجموعة من الأسئلة التي تتطلب من الوكلاء تحليل بيانات معينة مملوكة لشركات وتقديم إجابات دقيقة.

تتطلب هذه الأسئلة تطبيق قواعد معينة، يقوم الكود بتحليلها لتوليد الإجابات المطلوبة. وقد أظهرت النتائج أن أربعة من أقوى النماذج قد تمكنت من الإجابة على ما بين 22 و25 من أصل 27 سؤالاً، ما يعني أن الجدول المعياري لم يتمكن من فصلها بشكل واضح.

لزيادة التحدي، تمت إضافة ثمانية قوالب سؤال تعتمد على حقائق مخفية، حيث لم يُذكر أي شيء عن هذه الحقائق في الأسئلة أو الوثائق المتاحة. على سبيل المثال، قد تشير بيانات نظام المبيعات إلى أن عميلًا قد تخلى عن عملية الشراء بسبب التوقيت، بينما في مكالمة مسجلة، يوجد تعليل آخر يتعلق بانقطاع الخدمة.

خلال التجربة، تم تقييم 12 وكيلًا، حيث تم دمج نماذج الذكاء الاصطناعي مع برامج الوكلاء، مما يسمح لها بالتواصل مع أنظمة الشركات. وكان الوكيل الأكثر نجاحًا قد أجاب بشكل صحيح على 18 من بين 24 محاولة، وكان على كل سؤال ثلاث محاولات للإجابة. بينما لم تتمكن أربعة من النماذج الستة الأخرى من تقديم إجابات صحيحة لأكثر من 6 محاولات من أصل 24.

تتطلب أصعب الأسئلة اختيار سجلات متشابهة، مثل تحديد أي من ثلاث عروض تجديد قد قام العميل بالتوقيع عليها. ومن المثير للاهتمام أن جميع الوكلاء معًا قد تمكنوا من الإجابة عن سؤالين فقط من هذا النوع بشكل صحيح في واحدة من 84 محاولة.

هذه النتائج تسلط الضوء على التحديات التي تواجه أنظمة الذكاء الاصطناعي الحالية في استغلال المعرفة المخفية بشكل فعال. هل يمكن أن تؤثر هذه التطورات على مستقبل التعلم الآلي؟ شاركونا آرائكم في التعليقات!