التعدين الصعب للعينات السلبية: كيف نعلّم النموذج تمييز «شبه الصحيح»

لا يتعلم النموذج إلا القليل من الأمثلة الخاطئة بشكل واضح. في مقال تقني نُشر على dev.to يشرح المهندس Shrijith Venkatramana فكرة hard negative mining بمثال بسيط من البحث. إذا وضعت أمام استعلام «How do I rotate an AWS IAM access key?» نصًا عن تغيير حجم pod في Kubernetes، فسيفصل النموذج بينهما بسهولة. أما الاقتران بالاستعلام «How do I create an AWS IAM access key?» فيحمل المفردات نفسها والكائن نفسه، لكن الإجابة مختلفة تمامًا.

السلبيات السهلة رخيصة وغالبًا بلا فائدة

في التدريب التبايني يُكافأ النموذج عندما تحصل الوثيقة ذات الصلة (d+) على تشابه أعلى من الوثيقة غير ذات الصلة (d-). الاقتران السهل، 0,82 مقابل 0,12، لا يحمل إشارة تقريبًا، لأن النموذج يعرف أصلًا أنهما مختلفان. أما الاقتران الصعب، 0,82 مقابل 0,76، فيفرض عليه أن يجد السمة الفارقة. نادرًا ما تفشل أنظمة الاسترجاع بإرجاع شيء غير مرتبط تمامًا؛ والخطأ المعتاد إصدار مكتبة خاطئ أو دليل تثبيت بدل دليل إعداد. والمنطق نفسه ينطبق حيث يحتاج النظام إلى الترتيب أو التمييز: فعلى reranker يرى أربع مقاطع عن PostgreSQL أن يفهم لماذا يجيب أحدها عن الاستعلام بينما الآخر مرتبط بالموضوع فقط.

فكرة أقدم من نماذج اللغة

تشكّلت الطريقة في الرؤية الحاسوبية. نشر Florian Schroff وDmitry Kalenichenko وJames Philbin عام 2015 نموذج FaceNet، الذي يضع الوجوه في فضاء embedding ويستخدم online triplet mining، رافعًا صعوبة الثلاثيات مع تحسن الشبكة. نقل عمل Dense Passage Retrieval لـ Karpukhin وزملائه المنطق نفسه إلى البحث النصي، ومضى ANCE لباحثي Microsoft، ومنهم Lee Xiong وChenyan Xiong، خطوة أبعد: فهرس approximate-nearest-neighbour يجد السلبيات الصعبة بالنموذج نفسه. وأضاف RocketQA سلبيات صعبة منزوعة الضجيج إلى جانب cross-batch negatives.

التعدين عمليًا

يجلب الإجراء الأساسي أفضل k مرشحين لكل استعلام، ويحذف الموجب المعروف، ويحتفظ بالبقية. الفخ هنا أن الصعب لا يعني الخاطئ: قد تكون وثيقة شديدة التشابه مفيدة فعلًا، ودفعها بعيدًا يضر فضاء الاسترجاع. لذلك تمرر خطوط الإنتاج المرشحين عبر cross-encoder أو حكم LLM لإزالة false negatives المحتملة. والتكلفة قيد آخر: مليون استعلام تدريبي مع 20 سلبيًا صعبًا لكل منها يعني نحو 20 مليون علاقة مرشحة. ويوصي الكاتب بمرحلة استرجاع أولى رخيصة، وبالتعدين الدوري، وبنقاط مُعلّم يقع نطاقها المفيد في الوسط، نحو 0,4 إلى 0,8.

لماذا ينجح ذلك

في دالة تباينية يُكافأ النموذج حين يلتقط الموجب معظم كتلة الاحتمال. وعندما يسجل سلبي 0,87 مقابل موجب 0,90، فإن دالة الخسارة تنتج تدرجًا أكبر بكثير مما لو وقف أفضل سلبي عند 0,20. تعلّم السلبيات السهلة مناطق واسعة من الفضاء، وتعلّم الصعبة حد القرار. ويعيد التعدين بعد كل جولة إغلاق الحلقة: نموذج أفضل ينتج أخطاء أفضل، وتلك الأخطاء تصبح بيانات تدريب أفضل.