في خطوة جديدة تساعد على تعزيز الشفافية في عالم الذكاء الاصطناعي، أظهر بحث حديث أهمية الكشف عن تلوث البيانات في نماذج اللغة الكبيرة (Large Language Models). تعتمد نماذج اللغة الكبيرة على كميات هائلة من البيانات خلال عملية التدريب، بعضها قد يكون محميًا بموجب حقوق الطبع والنشر.

تسعى هجمات استدلال العضوية (Membership Inference Attacks) إلى تحديد الوثائق المستخدمة وما إذا كانت قد أدرجت في مجموعة البيانات التي تدرب عليها النموذج. ومع ذلك، فإن تلك الهجمات تتطلب من الباحثين التعامل مع كميات كبيرة من البيانات، مما يجعل المقارنة بين الأساليب المتبعة صعبة.

قام الباحثون بدراسة أحدث أساليب هجمات استدلال العضوية ضمن افتراضات الصندوق الأسود (black-box assumptions) وقاموا بمقارنة بينها باستخدام مجموعة موحدة من البيانات لتحديد ما إذا كان بإمكان أي منها الكشف عن العضوية بشكل موثوق.

في سياق ذلك، تم تطوير طريقة جديدة تُعرف بتصنيف الألفة (Familiarity Ranking)، والتي تتيح لنماذج اللغة الكبيرة مزيداً من الحرية في تعبيرها وتفهمها لعملياتها العقلية.

ومع ذلك، أظهرت النتائج أن أيًا من الطرق المستخدمة لم تكن قادرة على الكشف عن العضوية بدقة، حيث أظهرت مؤشرات AUC-ROC قيمة تقارب 0.5 لجميع الطرق عبر عدة نماذج لغة كبيرة. كما تشير النتائج إلى أن النماذج الأكثر تطورًا تُظهر القدرة على التفكير والتعميم بشكل أفضل، مما يبرز صعوبة الكشف عن العضوية باستخدام أساليب الصندوق الأسود.

في الختام، تظهر هذه الدراسة الحاجة الماسة لمزيد من الأبحاث والتطوير في هذا المجال المهم للحد من تلوث البيانات وضمان جودة نماذج الذكاء الاصطناعي.