في عالم الذكاء الاصطناعي، تبرز نماذج اللغات الضخمة (Large Language Models) كأحد أهم التطورات التكنولوجية. هذه النماذج أظهرت قدرات استثنائية في الاستدلال العددي من خلال التعلم في السياق (In-Context Learning). لكن، كيف يتم تنظيم المعلومات الرقمية داخل تلك النماذج؟

قام باحثون بإجراء دراسة جديدة تعتمد على منظور معالجة الإشارات البيانية (Graph Signal Processing) لفهم كيفية تعامل هذه النماذج مع المعلومات العدديّة. حيث تُشكّل الانتبهات (Attention) شبكة مرجّحة من الرموز (Tokens)، بينما تحدد حالات الخفية للرمز (Hidden States) إشارات تعمل على تلك العقد.

تظهر التحليلات الكمية والنوعية أن تمثيلات المعلومات تصبح أكثر تميزًا بناءً على تعقيد المدخلات. فعندما تزداد طول السياق، يظهر تأثير واضح في كيفية معالجة النماذج للمعلومات. على سبيل المثال، المدخلات البسيطة تُنتج رسوم بيانية للرموز ذات ترابط عالمي أقوى، بينما المدخلات الأكثر تعقيدًا تُظهر رسومات أكثر تميّزًا وتنوعًا في الطاقة الترددية.

تقدم هذه النتائج رؤى جديدة حول الدلالات الداخلية المرتبطة بتعلم السياق العددي، مما يؤكد على وجود توقيعات منهجية تعتمد على السياق تُحافظ على تكرارها عبر عائلات النماذج، مما يجعلها مثار اهتمام كبير في عالم الأبحاث.