Cohere تطرح Embed 5: فهرسة عبر Pro وبحث عبر Fast

طرحت Cohere يوم الأربعاء Embed 5. يتيح النموذج فهرسة البيانات عبر Embed 5 Pro، بينما يتم البحث على المتجهات نفسها عبر Embed 5 Fast الأرخص، دون فهرس ثانٍ. وتوصي Cohere باستخدام Pro للفهرسة وFast للبحث، خصوصًا في أنظمة RAG والأنظمة الوكيلية، حيث تُبحث البيانات نفسها مرارًا وتتراكم زمن الاستجابة.

التنازل في جودة البحث صغير. على 40 مجموعة من النصوص والصور والمستندات المدمجة والمعالجة، حصل بحث Fast على فهرس Pro على 98.4 نقطة مقابل خط أساس Pro-to-Pro البالغ 100؛ ولو استُخدم Fast في الفهرسة أيضًا، لانخفض المؤشر إلى 96.6. وبحسب Cohere، لم يُسجل هبوط حاد في مجموعات فردية.

فضاء متجهي واحد، نموذجان

يتشارك Pro وFast فضاء متجهيًا واحدًا، لذا يمكن التبديل بينهما دون إعادة معالجة المتن. ينتج كلاهما متجهات متوافقة بالبعد نفسه، ومع تقليص Matryoshka أو تكميم int8 يمكن مزجهما أيضًا. يكلف Pro 0.12 دولار لكل مليون رمز، وFast 0.08، وفي الاختبارات يعالج المستندات بسرعة أعلى بمعدل 2.4 مرة، لذلك يعالج Pro المستندات الداخلة إلى الفهرس، بينما يتولى Fast حركة البحث الثقيلة.

تقليص المتجهات

يدعم النموذجان 256-2048 بُعدًا وصيغ float32 وint8 وbinary. ووفق تقدير Cohere، فإن متجه float32 ببعد 2048 يبلغ 8 كيلوبايت، أي نحو 819 GB لـ100 مليون جزء؛ ويخفض متجه int8 ببعد 1024 هذا الحجم إلى 102 GB، بينما يخفض binary ببعد 256 إلى 3.2 GB. لمعظم عمليات النشر توصي Cohere بـint8 ببعد 1024، أما binary فيمنح ضغطًا قويًا مع خسارة في الجودة.

بحث خارج النص

يدعم Embed 5 النصوص والصور والمدخلات المدمجة نصًا وصورة بأكثر من 100 لغة، بسياق 128K رمزًا. ووفق بيانات Cohere، في التقييم المدمج الخماسي حصل Pro على 82.3 نقطة، وFast على 81.2، وGoogle Gemini Embedding 2 على 61.3؛ وفي ViDoRe V3 كان Pro عند 85.8 وFast عند 84.5 مقابل 77 لـEmbed 4 السابق. في الاختبارات متعددة اللغات يتصدر Pro بمتوسط أوروبي خماسي اللغات بلغ 77 نقطة، لكنه يتخلف عن Gemini Embedding 2 في تسعة اختبارات.

تفاصيل المعيار

Embed 5 هي أول عائلة من Cohere تُقيَّم بـRCP-nDCG@10؛ يستخدم هذا الأسلوب معايير مكيّفة مع الاستعلام بدل العلامات الثابتة. يكتشف النتائج التي فاتتها العلامات الأصلية، لكنه يقيس إعادة ترتيب مرشحين ثابتين وليس البحث الأولي من المتن الكامل، لذلك لا يمكن مقارنة المؤشرات مباشرة.

التغيير الرئيسي أن Embed 5 يتعامل مع الفهرسة وخدمة الاستعلامات كقرارين منفصلين: يُفهرس متن واحد لجودة البحث، بينما يُحسَّن مسار الاستعلام من أجل الإنتاجية وزمن الاستجابة. تشير نتيجة Cohere البالغة 98.4 إلى خسارة صغيرة، لكن أنظمة الإنتاج ستضطر رغم ذلك إلى اختبار الإعداد على متنها الخاص. يتوفر Embed 5 Pro وFast في API من Cohere وModel Vault وMicrosoft Foundry وAmazon SageMaker؛ أما النشر الخاص عبر VPC وon-premises فيعمل مع vLLM.