القيم الهيكلية؟ ">ما هي حقنة القيم الهيكلية؟
تطور نماذج اللغة الكبرى تعتمد في الغالب على دعائم تمويهيه مثل Handlebars، والتي تُستخدم لإنتاج تعليمات النماذج. في هذا السياق، هناك نوعان من التعابير: التعبير ذو القوسين المزدوجين {{x}} الذي يقوم بتشفير القيمة بطريقة آمنة، والتعبير ذو القوسين الثلاثة {{{x}}} الذي يُدرج القيمة بشكل مباشر وغير مشفر.
تظهر الأبحاث أن اختيار هذا النظام قد يفضي إلى تعرض التطبيقات لهجمات من خلال البيانات التي يتحكم بها المهاجم، ما يؤدي إلى انفصام دور المحادثة بشكل غير آمن.
التحليل ">نتائج التحليل
- تمت دراسة 5760 تجربة عبر سبع عائلات من المحددات، مع هدفين من الهجوم وأربع نماذج مختلفة.
- أشارت النتائج إلى أن نموذج GPT-3.5 Turbo، على سبيل المثال، استجاب لتعليمات التلاعب في 97% من التجارب غير المشفرة و91% من التجارب المشفرة.
- نموذج Claude Haiku 4.5، من جهة أخرى، أظهر مقاومة ملحوظة لكل من الأهداف الهجومية.
الخلاصة
هذا الأمر يكشف كيف أن عوامل التشفير الحالية ليست حلاً كافيًا للحماية من المخاطر الهيكلية. تتطلب هذه التحديات تقنيات أمان أكبر تعزز من فصل التعليمات عن البيانات، لتكون التطبيقات أكثر أمانًا في مواجهة التهديدات المتزايدة.
ما رأيكم في هذه التطورات في عالم الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!