في عالم الذكاء الاصطناعي (AI)، يعد فهم كيفية عمل الوكلاء البرمجيين وتكاليفهم أمرًا بالغ الأهمية للشركات والمطورين. أظهرت دراسة حديثة، تم نشرها على موقع arXiv، أن التهيئة الهيكلية (scaffolding) التي تحكم تشغيل الوكلاء قد يكون لها تأثير أكبر بكثير على تكلفة التشغيل من الواجهة المستخدمة للتفاعل معهم.

ركزت الدراسة على مقارنة تكاليف استخدام أداة البرمجة من خلال بروتوكول سياق النموذج (Model Context Protocol - MCP) وواجهة الأوامر التقليدية (Command-Line Interface - CLI). وجدت النتائج أن تقديرات التكلفة المنشورة تختلف بشكل كبير، حيث يعود ذلك إلى تقارير غير قابلة للتكرار من الممارسين.

تم إجراء التجربة باستخدام مهمة برمجية ثابتة، حيث تمت العمليتان على مستودع Git الخاص عبر سبع بيئات هيكلية وخمسة نماذج لغوية (Language Models). وبدلاً من الاعتماد فقط على التقارير الذاتية للوكلاء، تم فحص حالة المستودع لضمان اكتمال المهمة.

تشير النتائج إلى أن تأثير الهيكلية كان أكثر ظهورًا، حيث أظهرت اثنتان من البيئات المستخدمة عدم دعمها للـ MCP على الإطلاق. هذه البيئات أنجزت كل العمليات باستخدام الـ CLI، مما يظهر أن الـ MCP ليس ضروريًا بالنسبة لهذه الفئة من الأعمال، وكانت تكلفتها تتراوح بين 5 إلى 28 مرة أقل مقارنةً بالخمس بيئات التي دعمت الـ MCP. وكانت أكبر الفروقات في التكلفة تظهر مع نموذج بالحجم 27 مليار معلمة، حيث تغيرت التكلفة بنسبة 139 مرة عبر البيئات المختلفة.

كان الأمر أكثر تعقيدًا عند مقارنة الـ MCP وCLI، حيث تراوحت الأرقام من 0.43 إلى 29، مع وجود استثناءات من الجانبين. ومن اللافت أن الفشل كان أكثر تكلفة في الـ MCP، حيث أنفق 12.9 في المئة من الأموال على تشغيل الـ MCP دون أن ينتج عمل مكتمل، مقارنة بـ 2.2 في المئة فقط على تشغيلات الـ CLI. ومع ذلك، كانت حالات الفشل متساوية في كل من البيئتين.

تبين أن الوكلاء غالبًا ما يتجاهلون الواجهة المخصصة لهم، مما يجعل المقارنات التي لا تتحقق من السلوك الفعلي غير موثوقة. تم إصدار جميع البيانات والمهمة كبرمجيات مفتوحة المصدر، مما يجعل النتائج متاحة للجميع للاستخدام والتحقق.

إن كان لديك رأي حول كيفية تأثير التهيئة على تكاليف الذكاء الاصطناعي، فلا تتردد في مشاركتنا أفكارك في التعليقات!