تعتبر تقنية تعبئة الفراغات (Fill-in-the-Middle) واحدة من الأهداف المستخدمة في التحضير المسبق للنماذج اللغوية، والتي تم تصميمها لمنح نماذج اللغة القدرة على ملء الفراغات في العبارات. ومع ذلك، تبقى آثار هذه التقنية على الذاكرة الدقيقة للنصوص موضوعًا قيد البحث.

في دراسة جديدة، تم تقييم ديناميات الذاكرة المرتبطة بتقنية تعبئة الفراغات في ظروف خاضعة للرقابة، من خلال تحضير نماذج Llama 3.2 باستخدام تقنية FIM مقارنةً بالأهداف القياسية التي تعمل من اليسار إلى اليمين (LTR) على مجموعة بيانات FineWeb-Gutenberg التي تحتوي على مقاطع مكررة من نصوص غوتنبرغ.

تشير النتائج إلى أن تقنية FIM تعيد استرجاع الأجزاء القصيرة أو المتطابقة جزئيًا بشكل أكثر تكرارًا، في حين أن تقنية LTR تميل إلى منح الثقة العالية في الاستمرار الطويل والدقيق للنصوص. علاوة على ذلك، لوحظ أن استخراج النصوص الدقيقة تحت تدريب FIM ينمو تقريبًا بشكل خطي مع تكرار النصوص التي تم اختبارها.

تمثل هذه النتائج تقدمًا في فهم كيفية تأثر ذاكرة النماذج اللغوية بعوامل مختلفة، حيث أظهرت التقييمات أن السياق المضاف غير كافٍ، فاسترجاع النصوص الدقيقة تحت تدريب FIM يبقى مرتبطًا بشكل قوي بالسياق السابق.

بالتالي، تكشف النتائج أن تقييم طول واحد من الشرائح أو صيغة واحدة فقط قد يغفل بعض الجوانب المهمة في سلوك الذاكرة لدى النماذج اللغوية. تعد هذه الدراسة خطوة هامة نحو فهم أعمق للتقنيات المستخدمة في الذكاء الاصطناعي وكيف يمكن تحسين فعاليتها في المستقبل.