تتزايد استخدام نماذج اللغات الضخمة (Large Language Models - LLMs) في مجالات التعليم، وهندسة البرمجيات، والكتابة الأكاديمية، وتوثيق التقنية، مما يثير تساؤلات مهمة حول كيفية تقييم الآثار الناتجة عنها وكيفية تحليل عملية التفاعل التي أدت إلى هذه النتائج. في حين أن النقاشات الحالية غالباً ما تركز على ما إذا كانت النتيجة النهائية قد تم إنشاؤها بواسطة الذكاء الاصطناعي أم لا، فإنها تتغاضى عن سجل المحادثة الذي يكشف عن توجيه الإنسان، وإسهامات الذكاء الاصطناعي، وتصحيحات المستخدم، والموثوقية.

تقدم الورقة البحثية LLMography، وهو إطار عمل مدروس لتحويل المحادثات بين الإنسان والذكاء الاصطناعي إلى مؤشرات قابلة للقياس تعكس الأصول، والمساهمة الإنسانية، والاعتماد على الذكاء الاصطناعي، وإمكانية التكرار، والقدرة على التدقيق. يشبه هذا المفهوم كل من الببليوغرافيا (bibliography) والويبографيا (webography)، حيث توثق LLMography المسار الديناميكي للتفاعل بين الإنسان ونموذج اللغة الضخمة كجزء من سجل منظم للإنتاج المشترك.

تقوم الورقة أيضًا بتقديم نموذج أولي يقوم بتحليل آثار محادثات الإنسان والذكاء الاصطناعي، ويعمل على إنتاج تقارير مؤشرات الأداء الرئيسية (KPI) التي تشمل درجات جودة المطالبات (Prompt Quality Score)، ودرجة توجيه الإنسان (Human Direction Score)، ومستوى الاعتماد على الذكاء الاصطناعي (AI Dependency Level)، ودرجة قابلية التحقق (Auditability Score)، وقابلية تتبع النتيجة النهائية (Final Output Traceability)، ومستوى خطر الخصوصية (Privacy Risk Level)، بالإضافة إلى توصية بشهادة LLMography.

أجري تقييم أولي استكشافي على 19 تقرير تدقيق مجهول الهوية من طلاب الهندسة. حيث تم تصنيف معظم التفاعلات كإنتاج مشترك بين الإنسان والذكاء الاصطناعي مع متوسط ​​درجات 86.8/100 لتوجيه الإنسان، و81.9/100 لجودة المطالبات، و72.8/100 لقابلية التدقيق، و77.1/100 لقابلية تتبع النتيجة النهائية. كما تطبق الورقة LLMography على عملية كتابتها الخاصة، وتم تصنيفها كإنتاج بشري توجيهي بدعم من الذكاء الاصطناعي. وتشير النتائج إلى أن الشفافية في الذكاء الاصطناعي ينبغي أن تتجاوز الكشف عن المخرجات إلى توثيق تاريخ التفاعل.