في عالم التكنولوجيا الحديث، تزداد التطبيقات العملية للنماذج اللغوية الكبيرة (LLMs) في مهام الهندسة العكسية. لكن بينما تنمو هذه الاستخدامات، يتزايد أيضًا الجدل حول كيفية قياس فعالية هذه النماذج. كثيرًا ما نرى ادعاءات تفيد بأن هذه النماذج قادرة على التعامل مع سير العمل الأمني الهجومي، ولكن الأسئلة الهامة تظل دون إجابة.

تقدم ورقة بحثية جديدة تحمل عنوان "Reforge" منهجًا مبتكرًا لتحسين تقييم أداء هذه النماذج على مستوى وظائف البرنامج. يُشير البحث إلى أن المعوقات الرئيسية لتقييم الأداء ليست قدرات النماذج نفسها، بل يمكن أن تكون مرتبطة بعدم موثوقية تطابق الكود الثنائي مع المصدر تحت تحسينات المترجم.

تعمل Reforge عبر إنشاء مستوى دقيق من الحقائق الوظيفية من كود C وذلك من خلال عمليات متعددة تشمل الترجمة والتقاط البيانات، مما يضمن تقييمًا أكثر دقة وموثوقية. تشير النتائج إلى أن نسبة الكفاءة العالية تنخفض بشكل ملحوظ عند تعديل مستوى التقييم، حيث تنخفض النسبة من 87.2% إلى 65.9% عند مستويات مختلفة من التحسين.

عبر اختبار تجريبي على سبعة نماذج لغوية معاصرة، تبرز الدراسة أهمية توخي اليقظة عند إجراء التقييمات وتثير النقاش حول الحاجة إلى ممارسات تقييم جديدة تأخذ في اعتبارها عدم اليقين.

إذا كنت مهتمًا بالتكنولوجيا أو متابعًا لتطورات الذكاء الاصطناعي، فإن هذه الأداة تعتبر خطوة هامة نحو تحسين الأداء وفهم أفضل للنماذج اللغوية الكبرى في سياقات عملية.