تعتبر نماذج اللغة الكبيرة (Large Language Models - LLMs) واحدة من أهم التطورات في مجال الذكاء الاصطناعي، حيث تُستخدم بشكل متزايد كعملاء كود لتحليل العلمية والهندسية. لكن، هل يمكن لهذه النماذج تحليل قياسات الطبقة الفيزيائية الخام؟ هنا يأتي دور معيار EMRB (Eelectromagnetic Reasoning Benchmark) الجديد.

يعكس EMRB قدرة LLMs على تحليل بيانات I/Q الخام من خلال كتابة وتشغيل الكود. يشمل هذا المعيار 200 مشكلة موزعة على خمسة مستويات من الصعوبة و27 نوعًا من الأسئلة، تتنوع من كشف الإشارة إلى تصميم أنظمة OFDM، والتي تم إنشاؤها من 11 نوعًا من الإشارات ذات الحقيقة الموثوقة.

على عكس المعايير التي تعتمد على ميزات معالجة مسبقة أو جداول منظمة، يُقدم EMRB فقط البيانات الخام؛ حيث يتعين على العلماء اكتشاف الكميات المتعلقة بكل سؤال من خلال الكود. لقد أجرينا تقييمًا لـ 14 نموذج لغة كبيرة تنتمي إلى عائلات مملوكة، ومفتوحة الوزن، وتركز على التفكير. تراوحت الدرجات بين 24.1% و78.9%، حيث انخفض المتوسط من 84.9% على القياسات الأساسية إلى 21.2% على تصميم الأنظمة.

كذلك، نقدم طريقة جديدة باسم ReconPilot، والتي تفصل بين الاستطلاع الإشاري، التحليل المستهدف، والتحقق الذاتي. عبر ثلاثة نوى، يرفع ReconPilot الدرجة الإجمالية بمعدل يتراوح بين 3.8 إلى 17.6 نقطة، ويحسن من 13 من 15 مجموعة تم اختبارها على مستوى النوى.

للمزيد من التفاصيل، يمكنكم زيارة مستودع GitHub الخاص بنا للاطلاع على البيانات والكود المتاح للعامة.