في السنوات الأخيرة، شهدنا تقدمًا ملحوظًا في قدرات نماذج اللغة الضخمة (Large Language Models) في توليد الشيفرات على مستوى نقل التسجيل (Register Transfer Level)، خصوصًا لعدم لغات مثل Verilog. ولكن في المقابل، لا يزال تقييم أداء هذه النماذج مع لغات وصف الأجهزة الأخرى (Hardware Description Languages) مثل VHDL محدودًا، على الرغم من الخصائص المتميزة لهذه اللغة، مثل القواعد الدلالية الأكثر صرامة، التي تتطلب اعتبارات تقييم مختلفة عن Verilog.

لملء هذه الفجوة، تم تقديم VHDLSuite، وهي بنية تحتية مرتكزة على مؤشرات أداء لتقييم توليد VHDL، حيث تجمع بين توليد مؤشرات الأداء الآلية، والتحقق القابل للتنفيذ، وتحليل تشخيصي متعدد النماذج.

أولاً، نقترح مسار بيانات يقوم تلقائيًا بتحويل تصميمات Verilog ومختبراتها المصاحبة إلى حالات مؤشرات أداء VHDL القابلة للتنفيذ، تليها عملية التحقق باستخدام VUnit/GHDL لضمان أن كل مهمة تم إصدارها يمكن تجميعها وتشغيلها والتحقق منها بشكل متسق في بيئة VHDL.

ثانيًا، نقدم VHDLBench، وهو مجموعة من أكثر من 200 مشكلة VHDL مع مختبرات اختبار كاملة وموثوقة تغطي مجموعة واسعة من مستويات التعقيد.

ثالثًا، نقوم بتقييم شامل لأحدث نماذج اللغة الضخمة ونكشف عن التحديات الرئيسية المتعلقة بتوليد VHDL بمساعدة هذه النماذج. تقدم نتائجنا رؤى هامة وتدعم الأبحاث المستقبلية في أتمتة تصميم الأجهزة متعددة اللغات. ستكون بنية بياناتنا ومؤشر الأداء وإطار التقييم مفتوحة المصدر، مما يسمح لمجتمع الباحثين والمطورين بالاستفادة منها وتطويرها بشكل أكبر.