تعتبر تقنيات تخطي حواجز نماذج الذكاء الاصطناعي (AI) من القضايا الساخنة في الأبحاث التقنية اليوم. ولكن، هناك مشكلة أساسية تتعلق بالعشوائية (Stochasticity) التي قد تؤثر على نتائج هذه التقنيات. في بحث جديد نُشر في arXiv، تناول العلماء مسألة العشوائية في التخطي وتأثيرها على معدل النجاح في الهجمات التي تهدف إلى اختراق نماذج الذكاء الاصطناعي.

في ملخص البحث، يُشير إلى أن تقنيات الاختراق التي تقدمها مؤسسات مرموقة مثل Anthropic وMicrosoft Research لا تحقق دائمًا النتائج المبهرة المتوقعة. على الرغم من تحقيق معدل نجاح مرتفع (ASR) مقارنة بالنماذج المغلقة، إلا أن هذه المعدلات تعاني من عدم الاستقرار، إذ لا تتجاوز نسبة النجاح في بعض الحالات 50%.

هذا الأمر يدفعنا للتساؤل: لماذا لا تعمل الأساليب التي حققت نجاحًا في السابق بشكل متسق عند تطبيقها مرة أخرى؟ للإجابة على هذا السؤال، تم اختبار تأثير العشوائية خلال مراحل تقييم الهجوم وتوليده، وتم تطوير إطارين جديدين: CAS-eval وCAS-gen.

أظهر إطار التقييم CAS-eval أن الهجمات يمكن أن تخسر ما يصل إلى 30 نقطة مئوية في معدل النجاح عند التخطيط لعدة محاولات. لكن، لنكن متفائلين! إطار التوليد CAS-gen زودنا بأدوات جديدة لتحسين هذه التقنيات، مما يساعد على تعويض هذا الفقد في النجاح.

تشير النتائج إلى أن معدلات النجاح التي تم نشرها في الأبحاث قد تكون مرتفعة بشكل نظامي، مما يحتم إعادة التفكير في كيفية تقييم فعالية هذه التقنيات. في ضوء تلك التطورات، يبدو أننا على أعتاب عصر جديد في عالم الذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا آراءكم في التعليقات.