كيف تؤثر أدوات الذاكرة سلبًا على أداء نماذج الذكاء الاصطناعي

تُعتبر قدرة أنظمة الذكاء الاصطناعي الحديثة على التكيف مع المستخدمين من أبرز مزاياها، حيث تقوم كل مرة بأداء مهمة ما بتكييف نفسها مع أسلوب وتفضيلات المستخدم، مما يُضاف كسياق للمهام المستقبلية. ويُفترض أن زيادة هذا السياق وفهم المستخدم يؤدي إلى تحسين أداء النموذج مع كل استخدام.

إلا أن أبحاثًا جديدة أشارت إلى أن هذه القدرات التكيفية قد تحمل جوانب سلبية. ففي يوم الأربعاء، نشر باحثون في شركة الذكاء الاصطناعي Writer ورقتين بحثيتين بينتا فيهما كيف يمكن لأنظمة الذاكرة الشائعة أن تضعف أداء النماذج، حيث تميل إلى تبني المفاهيم الخاطئة أو سوء الفهم الذي يُدخله المستخدم. ومع ازدياد حجم مدخلات المستخدم ضمن نافذة السياق الخاصة بالنموذج، يصبح النموذج أكثر ميلًا للتملق وأقل التزامًا بالدقة.

قال دان بيكل، رئيس قسم الذكاء الاصطناعي في Writer والمشارك في إعداد الأوراق البحثية: "كنا نرغب في تحديد مدى اهتمام النموذج بتفضيلات المستخدم بشكل مفيد مقابل احتمال تقديم إجابة خاطئة". وأضاف في حديثه لـTechCrunch: "مع كل تخزين إضافي لتفضيلات المستخدم واسترجاعها، يزداد الخطر".

في إحدى التجارب، اختبر الباحثون نماذج الذكاء الاصطناعي بتسجيل أن الكتاب المفضل للمستخدم هو "Station Eleven"، ثم طلبوا من النموذج تسمية كتاب ديستوبي من الأكثر مبيعًا. أظهرت النماذج ميلًا متزايدًا لذكر "Station Eleven" في إجاباتها، رغم أن السؤال لم يكن مرتبطًا بكتاب المستخدم المفضل. وازدادت هذه الظاهرة عند استخدام أدوات ضغط الذاكرة مثل Mem0 وZep.

تشير الورقة البحثية إلى أن "جميع أنظمة الذاكرة تواجه صعوبة جوهرية في التمييز بين السياق ذي الصلة والمرتكزات غير ذات الصلة، مما يضعف التنوع والإبداع بشكل كبير ويفتح مجالات غير مقصودة للتحيز قد تحد من فائدة النظام".

أما الورقة الثانية، فقد أوضحت كيف يمكن لهذا الديناميكية أن تؤدي إلى تدهور الأداء بشكل نشط، حيث قدم الباحثون للمستخدم مفاهيم خاطئة حول المالية، ثم تحدوا النموذج لتحليل أداء شركة ما. وبيّنت النتائج أن زيادة السياق المتاح للنموذج أدت إلى تراجع أدائه.

قالت الورقة: "عند عدم وجود ذاكرة أو تخصيص، يقيم نموذج الذكاء الاصطناعي بشكل صحيح أن الشركة تعتمد على رأس مال كثيف وتعاني من معدل دوران عملاء مرتفع". وأضافت: "لكن مع تفعيل تلك الميزات، يغير النموذج إجابته ليوافق على خطأ المستخدم أو يزوده بإجابة غير صحيحة بناءً على تقييمه لتفضيلات المستخدم السابقة".

ومن الجدير بالذكر أن البحث لم يشمل نموذج Opus 4.8 الأخير من Anthropic، الذي تم تدريبه على مقاومة أخطاء الإدخال مثل تلك المعروضة. وأكد الباحثون أن الأنماط التي اكتشفوها كانت صحيحة عبر نماذج مختلفة، مما يوضح مدى حساسية توازن سياق الذكاء الاصطناعي وكيف يمكن للأدوات المفيدة أن تترتب عليها عواقب غير مقصودة إذا أخلت بهذا التوازن.