وكلاء الذكاء الاصطناعي يفشلون في مهام بديهية: المشكلة في الاسترجاع لا التفكير — 49% و67%

الوكيل القادر على تلخيص ملف PDF طويل، واستدعاء واجهة برمجية بشكل صحيح، وتنفيذ سير عمل متعدد الخطوات، سيظل يفوّت مهلة الاسترداد المدفونة في مستند السياسات، أو يختار رمز منتج خاطئًا، أو ينسى نتيجة أداة وردت قبل عشر ثوانٍ. في مقال منشور على DEV Community، يرى المطوّر لارس وينستاند أن معظم أخطاء "الوكيل غبي" ليست أخطاء تفكير بل استرجاع فاشل، وهذا يغيّر من أين يبدأ التنقيح.

الفشل يبدو كخطأ تفكير، لكنه ليس كذلك

النمط الذي يصفه وينستاند مألوف في روبوتات الدعم والمساعدين الداخليين: يتعامل الوكيل مع الأجزاء الصعبة ثم يخطئ في خطوة بديهية واحدة. يبدو ذلك كتفكير سيئ، لكن غالبًا ما كانت معلومة واحدة محددة غائبة في لحظة واحدة محددة. يقول: "هذا ليس فشل تفكير، بل استرجاع فاشل".

أرقام Anthropic: 49% و67%

تستند الحجة إلى بحث Contextual Retrieval من Anthropic: عند إضافة السياق إلى المقاطع ودمجها مع البحث الدلالي وContextual BM25، ينخفض عدد عمليات الاسترجاع الفاشلة بنسبة 49%. وإضافة إعادة الترتيب ترفع النسبة إلى 67%. أما نظام RAG التقليدي — التقسيم البسيط مع البحث الدلالي وحده — فلا يقدّم رقمًا مماثلًا.

السياق الطويل والبحث المتجهي لا يكفيان

فرضيتان شائعتان لا تصمدان. أولًا، تسليم كل الوثائق إلى النموذج لا يضمن استخدامه للمقطع الصحيح، فبسبب تأثير "Lost in the Middle" يتراجع أداء النماذج عندما تكون المعلومة المهمة في منتصف مطالبة طويلة. ثانيًا، البحث المتجهي الصرف يخسر في المطابقة الحرفية: معرّفات الطلبات، وأسماء السياسات، ورموز المنتجات، وأسماء سير العمل، ورموز الأخطاء، وأرقام التذاكر. لذلك يبقى البحث الهجين — كلمات مفتاحية مع بحث دلالي وإعادة ترتيب — أكثر موثوقية في الأنظمة الفعلية.

نقّح طبقة الاسترجاع أولًا

تبدأ قائمة وينستاند بتسجيل السياق الدقيق الذي رآه الوكيل: المقاطع المسترجعة، والرسائل السابقة، ومخرجات الأدوات، ومطالبة النظام، والذاكرة المحقونة. ويقول: "إذا لم تستطع فحص الحالة النهائية للمطالبة، فأنت تنقّح بشكل أعمى". بعد ذلك يجب فصل ذاكرة الجلسة والذاكرة الدائمة والاسترجاع، فهي ثلاث حوادث مختلفة. أضف بحث الكلمات المفتاحية للمصطلحات الحرفية، وطبّق إعادة الترتيب قبل تغيير النموذج، واختبر موقع المعلومة الحرجة في المطالبة.

البند الأخير معماري: إذا كانت قاعدة المعرفة تتسع بأريحية في السياق — نحو 200 ألف رمز أو أقل — فتنصح Anthropic بتخطي RAG تمامًا، ويمكن للتخزين المؤقت للمطالبات أن يقلل زمن الاستجابة أكثر من الضعف والتكلفة حتى 90%. أما قاعدته فهي: عند فشل الوكيل في مهمة بديهية، اسأل ماذا أعاد الاسترجاع، وأين ظهرت المعلومة، وهل وُجد بحث مطابقة دقيقة، وهل عملت إعادة الترتيب، وهل رأى الوكيل الشيء الصحيح بشكل قابل للاستخدام.