في عالم الذكاء الاصطناعي، يبدو أن التكرار غير المنضبط في نماذج اللغة الكبيرة (Large Language Models) قد أصبح تحدياً يستدعي الاهتمام المباشر. دراسة حديثة تتناول هذا الأمر من خلال تحليل كيفية تأثير هذه الظاهرة على فعالية نماذج اللغة.

تعرّف الباحثون على جوانب جديدة تتعلق بتفاعلات التكرار، حيث كانوا يلاحظون علامات قوية لنشاطات معززة في الطبقات الوسيطة والمتأخرة من هذه النماذج. ومع ذلك، لم يُفهم تماماً كيف تتطور هذه النشاطات قبل أن تصبح بارزة. لذا، قرر الباحثون التركيز على نماذج اللغة البصرية-اللغوية الكبيرة (Large Vision-Language Models) التي تسمح بتكرارات غير مضبوطة من خلال كل من المدخلات النصية والبصرية.

لتقديم حلول فعّالة، اقترح الباحثون تقنية جديدة تُعرف باسم مقارنة المتبقي بالرموز (Tokenwise Residual Comparison - TRC)، والتي تسعى لتحديد وتحديد مواقع الشذوذ المرتبطة بالتكرار خلال عملية التوليد. تعتمد هذه الطريقة على تحليل تدفقات المتبقي خلال التوليد، مما يمكنها من التعرف على أنماط التكرار ثم تقليل أنشطة التكرار غير المنضبط بشكل فعال.

أظهرت التجارب أن تقنية TRC تحقق انخفاضاً متوسطاً في معدل التكرار يصل إلى 57%. كما أوضحت الأبحاث أن دلالات التكرار تظهر في الطبقات السطحية وتنشر تأثيراتها عبر تدفق المتبقي، مما يعطل التمثيلات العادية. وتستطيع هذه التقنية أيضاً تطبيقها على نماذج اللغة الكبيرة ونماذج التفكير الكبيرة (Large Reasoning Models)، مما يوفر فرصة مثيرة للتطوير.

مع هذا الابتكار، يجد الباحثون آفاق جديدة لكبح جماح التكرار غير المنضبط. كيف تعتقدون أن هذه الاستراتيجيات ستؤثر على مجال الذكاء الاصطناعي في المستقبل؟ شاركونا آرائكم في التعليقات!