في عالم الذكاء الاصطناعي، تتطور نماذج اللغات الضخمة (LLMs) بشكل مستمر من خلال عمليات معقدة ومتعددة المراحل، مما يؤدي إلى علاقات نسبية معقدة تعكس أصل النموذج، ومالكيه، وتطوره. لذا، فإن فهم هذه العلاقات يعد خطوة أساسية في مجال إدارة النماذج وسلامة سلسلة الإمداد.

في هذه الدراسة الجديدة، نتعمق في مفهوم "البصمات البيومترية للنماذج اللغوية"، مستحضرين فكرة مشابهة لتقنيات التعرف على البصمات البشرية. هل يمكن أن تكشف البصمات المستندة إلى الوزن فقط، دون الحاجة إلى بيانات الإدخال، عن أصل ونسب هذه النماذج؟

قمنا بتشكيل هذا كمشكلة تمييز تناولت أنواعًا مختلفة من النماذج: نماذج ذات أصل مستقل، ونماذج من نفس السلسلة، ونماذج ذات قاعدة مشتركة. وقد تقديمنا إطار عمل موحد للتحليل الهندسي للبصمات، يحتوي على رؤى متكاملة من منظورين:
(i) الطاقة الطيفية، التي تُجمع عبر توزيع القيم الفردية، لتشفير أنماط الكميات العامة، و
(ii) محاذاة المساحات الفرعية، التي يتم قياسها عبر التغيرات في المساحات الفرعية لتسليط الضوء على الهندسة الاتجاهية.

توصل تحليلنا إلى تسلسل هرمي واضح من الشبه البنيوي في مساحة الوزن، حيث يستطيع تمييز الطاقة الطيفية بشكل موثوق بين النماذج المدربة بشكل مستقل وبالأسرة المختلفة للنماذج، بينما تمكّن محاذاة المساحات الفرعية من التمييز الدقيق بين النماذج ذات الصلة الوثيقة، بما في ذلك التغيرات في حجم البيانات وإجراءات ما بعد التدريب.

أظهرت التجارب المكثفة على أكثر من 110 زوج من نماذج LLM متنوعة أن هندسة الوزن تقدم إشارة قوية وقابلة للتفسير لعلاقة نسب النموذج، مما يتيح فصل الأنظمة بشكل عام وتمييزًا دقيقًا داخل النماذج ذات القاعدة المشتركة.

تعتبر هذه الاكتشافات مؤشرًا قويًا لتطور الأبحاث في هذا المجال، مما يعزز فهمنا للعلاقات المعقدة بين النماذج ويعكس أهمية تحديدها في المستقبل.