في عالم الذكاء الاصطناعي، تُعتبر نماذج اللغات الضخمة (Large Language Models) أداة قوية في توليد الكود البرمجي، إلا أن بقاء هذه النماذج في دائرة النجاعة يتطلب منها القدرة على التعامل مع واجهات برمجية (APIs) لم تتوافر في بيانات ما قبل التدريب. ليست المسألة مجرد تذكر اسم وظيفة (Function)، بل هناك حاجة لتنسيق بين عدة متغيرات مثل التوقيعات (Signatures)، مسارات الموديولات (Module Paths)، العقود الخاصة بالمدخلات والمخرجات (Input-Output Contracts)، ودلالات الاستخدام (Semantics) وأنماط الاستخدام القابلة للتنفيذ.

في إطار هذا التحدي، تم تقديم معيار NovelAPIBench، الذي يعد بمثابة معbenchmark ديناميكي وآلي يهدف إلى اكتشاف واجهات برمجية جديدة، واستخراج حزم معرفية مفصلة، وتوليد مهام برمجية قابلة للتنفيذ، وتصنيف العينات الفاشلة إلى ستة فئات تشخيصية.

تمت مقارنة التعلم المعرفي المستند إلى الاسترجاع مع التكيف المعلمي عبر حوالي 1.9 ألف مهمة، لأربعة نماذج أساسية، وخمسة مجالات. وتشير النتائج إلى أن مكونات المعرفة ليست قابلة للتبادل؛ حيث تعتبر أمثلة الاستخدام هي المؤشر الأقوى بمفردها، بينما التزاوج الأمثل بين مكونات المعرفة يتطلب الجمع بين التوقيعات وآليات معينة أو أمثلة على حسب المجال.

ومن المثير للاهتمام أن إضافة مزيد من السياق، لا سيما كود المصدر، قد يؤدي في بعض الأحيان إلى إحداث أخطاء في مسارات الاستيراد. بمعنى آخر، فإن التكيف المعلمي لا يحل محل الاسترجاع، بل على العكس، التعليم الدقيق يركز على تعليم النماذج كيفية استخدام الحزم المخصصة، وهذه القدرة تنتقل إلى المكتبات الأخرى المُحتفظ بها.

تسلط هذه النتائج الضوء على الأدوار التكميلية التي تقوم بها عمليات استرجاع المعلومات والضبط: فبينما يوفر الاسترجاع محتوى واجهات برمجية متغيرة، يُعزز الضبط من التكامل الإجرائي.