في عالم الذكاء الاصطناعي، تعتبر أنظمة تحويل النصوص إلى SQL (T2SQL) أدوات قوية تعزز من كفاءة استخدام البيانات. إلا أن تقييم هذه الأنظمة في بيئات الإنتاج يكشف عن تحديات متعددة لا تغطيها المعايير الحالية. الطرق التقليدية للتقييم، سواء كانت تعتمد على المطابقة القواعدية لاستعلامات SQL أو على المُحللات الدلالية المعتمدة على مخطط البيانات، تعتمد غالبًا على المعلومات الدقيقة والاستعلامات المرجعية التي نادرًا ما تكون متاحة في التطبيق العملي.

تؤدي هذه الفجوة إلى عدم تقييم فعلي لوكلاء T2SQL في البيئات الإنتاجية، مما يخلق تدهورًا هادئًا في الجودة ودون وجود آلية لتغذية راجعة للتحسين المستمر. هنا تبرز STEF، إطار العمل الجديد الذي يقدم حلولاً فعالة. يركز STEF على تقييم نظام تحويل النصوص إلى SQL بشكل مستقل عن المخططات المعتمدة، حيث يعتمد فقط على مدخلات اللغة الطبيعية مثل استفسار المستخدم وإعادة صياغته، وكذلك الاستعلامات الناتجة، دون الحاجة إلى مخططات البيانات أو الاستعلامات المرجعية.

يعتمد STEF على استخراج المواصفات الدلالية من كل من اللغة الطبيعية وتمثيلات SQL، ويقوم بمحاذاة الميزات المعيارية ليخرج بدرجة دقة يمكن فهمها تتراوح بين 0 إلى 100، وذلك عبر مقياس مركب يشمل محاذاة الفلاتر، والحكم الدلالي، وثقة المُقيّم. تشمل المساهمات الرئيسية: تعزيز جودة الأسئلة كإشارة تقييم رئيسية، إدخال قواعد محددة للتطبيق عبر نماذج التوجيه، والتعامل مع التوحيد القوي للإنتاج مما يتيح التعامل مع حدود GROUP BY، وضوابط ORDER BY، واستراتيجيات LIMIT.

تظهر النتائج التجريبية أن STEF يمكّن من المراقبة المستمرة للإنتاج، ويضمن حلقة تغذية راجعة لتحسين الوكلاء دون الاعتماد على المخططات، مما يجعل تقييم الاستعلامات الهيكلية ممكنًا على نطاق واسع للمرة الأولى. هل أنتم مستعدون لاستكشاف كيف يمكن للتكنولوجيا أن تغير من طريقة تحليل بياناتكم؟