تعتبر اختبارات التكوين اللغوي واحدة من الأدوات الأساسية لتقييم أداء نماذج اللغات الضخمة (Large Language Models) في معالجة اللغة. ومع ذلك، يواجه هذا النوع من الاختبارات عددًا من القيود التي تؤثر على دقتها وفاعليتها. في دراستنا الجديدة، نصطدر نحو منظور مبتكر يعتمد على توليد القواعد (Rule Generation) لتقييم هذه التكوينات، مما يسهم في تحسين الشفافية والفهم.

تتمثل أبرز قيود الاختبارات التقليدية في تركيزها على النتائج الخارجية دون التعمق في كيفية فهم النماذج لتكوينات البيانات. هذا الإغفال يؤدي إلى نقص في القدرة على تفسير نتائج النماذج. بالإضافة إلى ذلك، تعتمد هذه الاختبارات على تقسيمات البيانات، مما يخلق مشكلات تتعلق بتسرب التركيب، حيث يتم اختبار تركيبات لم يتم التعرف عليها أثناء التدريب.

في عملنا، نقترح استخدام منظور جديد يتضمن توليد برامج كأنظمة قواعد لتسهيل عملية تقييم التكوينات. هذا المنهج يعتمد على نظرية التعقيد (Complexity-Based Theory)، ويتيح لنا تقدير مفهوم التكوينات بشكلٍ أكثر عمقًا.

قمنا بإجراء تجارب وتحليلات تشمل نماذج لغوية متقدمة، حيث استخدمنا مهمة تحويل النصوص إلى شبكة (String-to-Grid Task)، واكتشفنا تصنيفات مختلفة للتكوينات ونقاط الضعف التي تعاني منها هذه النماذج.

إن دراستنا لا تعزز فقط من فهم التكوينات اللغوية، بل تفتح أيضًا آفاقًا جديدة لتحسين تقنيات الذكاء الاصطناعي من خلال زيادة الشفافية والفهم العميق لكيفية عمل هذه النماذج.