مفاهيم خاطئة حول تلوث البيانات: دراسة تحليلية عميقة في ذكاء البرمجيات

شهد مجال ذكاء البرمجيات تطوراً ملحوظاً في السنوات الأخيرة، حيث باتت نماذج اللغات المدربة مسبقاً (Pretrained Language Models) والنماذج اللغوية الكبيرة (Large Language Models) تُستخدم على نطاق واسع في أتمتة تطوير البرمجيات. ومع هذا، تصاعدت المخاوف بشأن تلوث البيانات وكيف يمكن أن يؤثر على تقييم أداء هذه النماذج.

تتعرض معظم الدراسات السابقة إلى تلوث البيانات المحدد مسبقاً على مستوى عينة واحدة، متجاهلةً السيناريوهات الجزئية للتلوث، التي تعد شائعة في هذا المجال. لكن الدراسة الأخيرة التي نُشرت في arXiv تسلط الضوء على الفجوة الموجودة وتقدم دراسة تجريبية منهجية تبحث في تلوث البيانات بشكل مفصل في المهام البرمجية الرئيسية.

تتناول الدراسة نماذج لغوية متنوعة مثل روبرتّا (RoBERTa) و جي بي تي-2 (GPT-2) وكذلك نماذج كبيرة مثل لاما (LLaMA) و ستار كودر (StarCoder)، عبر ثلاث مهام رئيسية: ترجمة الكود، توليد الكود، وتلخيص الكود؛ مستخدمةً لغتين برمجيتين هما جافا (Java) وبايثون (Python).

طريقة الدراسة تتضمن تصنيف سيناريوهات التلوث إلى أربعة أنواع حسب ممارسات ذكاء البرمجيات: التلوث المدخل فقط، التلوث المخرج فقط، التلوث غير المرتبط، والتلوث المرتبط. وقد تم إنشاء مجموعات تجريبية وضابطة لاستكشاف هذه السيناريوهات.

تكشف النتائج التجريبية أنه، حتى عند إدخال تلوث متزايد بشكل متعمد، فإن ذلك لا يؤدي إلى تقدير أداء مرتفع بشكل كبير عند استخدام نماذج اللغات المدربة مسبقاً. ومع ذلك، فإن النماذج الكبيرة تتأثر بشكل كبير عندما يتم إجراء التجارب تحت سيناريوهات التلوث المرتبطة. وهذا يتحدى الفهم التقليدي بأن التلوث لا بد أن يؤدي إلى تقدير أداء مرتفع.

تقدم هذه الدراسة رؤى جديدة تتعلق بتقييم ونشر نماذج ذكاء البرمجيات، مما يفتح آفاقاً جديدة لفهم كيفية تأثير تلوث البيانات على أداء النماذج المختلفة.