في عالم الذكاء الاصطناعي، تعتبر تقنية Lean أداة متطورة تُستخدم لتقييم الإجابات الرياضية بلغة الطبيعة (Natural Language). ورغم فعالية هذه التقنية، إلا أن تقييمها للأجوبة يُظهر إشارات جزئية، مما يعني أن بعض الإجابات لا تُفضي إلى نتائج موثوقة. وفقًا لدراسة جديدة نُشرت في arXiv، تكشف التحليلات عن جوانب مهمة حول كيفية عمل Lean، حيث يعاني النظام من مشكلتين رئيسيتين:

1. **تفاوت الدقة**: لوحظ أن الإجابات التي تفوز بالتحقيق الصحيحة تصل دقتها إلى 96% في ظروف معينة، لكنها تتدنى إلى 20% في ظروف أخرى.

2. **علامات غير موثوقة**: يشعر الباحثون بالقلق من أن الروبوت الآلي (Autoformalizer) الذي يمتلك 7 مليارات تدريب لا ينجح إلا في إثبات 28% فقط من المشاكل، وقد أظهر تدقيق يدوي أن 43% من هذه الإثباتات فقط موثوقة.

استجابةً لهذه التحديات، قدم الباحثون طريقة جديدة تُسمى COVCAL. يعمل COVCAL كمنتقي لتحليل نتائج Lean، حيث يحدد حدود المخاطر عند قبول الإجابات أو الامتناع عنها. يتضمن ذلك استخدام أساليب مثل حدود بونفيروني (Bonferroni Bound) والتي تعزز من كفاءة النظام وتعكس كيف يمكن الاعتماد عليه في سياقات محددة. على سبيل المثال، بينما يُعتبر الأداء مع الروبوتات الآلية الضعيفة غير موثوق، فإن استخدام مُثبت متخصص يمكنه تحقيق تغطية تبلغ 79%، مما يسمح بقبول 48% من المشاكل بدقة تصل إلى 0.98.

من الواضح أن الدقة تتطلب النظر في الظروف المناسبة واختيار الأدوات الصحيحة لتحقيق أفضل النتائج. تقدم هذه الدراسة فهمًا عميقًا حول متى وكيف يمكن الوثوق بالإشارات الناتجة عن النماذج غير الكاملة، مما يسهم في مزيد من التطورات في تطبيقات الذكاء الاصطناعي.