Cohere הציגה את Embed 5: אינדוקס עם Pro, חיפוש עם Fast

Cohere הציגה ביום רביעי את Embed 5. המודל מאפשר לאנדקס נתונים עם Embed 5 Pro, בעוד שחיפוש על אותם וקטורים מבוצע עם Embed 5 Fast הזול יותר, בלי אינדקס שני. Cohere ממליצה להשתמש ב-Pro לאינדוקס וב-Fast לחיפוש, במיוחד במערכות RAG ובמערכות סוכנים, שבהן אותם נתונים נחיפים שוב ושוב והשהיה מצטברת.

הפשרה באיכות החיפוש קטנה. על 40 סטים של טקסט, תמונות, מסמכים משולבים ומעובדים, חיפוש Fast על אינדקס Pro קיבל 98.4 נקודות מול בסיס Pro-to-Pro של 100; אילו השתמשו ב-Fast גם לאינדוקס, המדד היה יורד ל-96.6. לפי Cohere, לא נרשמה נפילה חדה בסטים בודדים.

מרחב וקטורי אחד, שני מודלים

Pro ו-Fast חולקים מרחב וקטורי אחד, ולכן אפשר לעבור ביניהם בלי לעבד מחדש את הקורפוס. שניהם יוצרים וקטורים תואמים באותו ממד, ובשילוב עם צמצום Matryoshka או קוונטיזציה int8 אפשר גם לערבב ביניהם. Pro עולה 0.12 דולר למיליון טוקנים, Fast עולה 0.08, ובבדיקות הוא מעבד מסמכים במהירות גבוהה פי 2.4 בממוצע, כך ש-Pro מעבד מסמכים שנכנסים לאינדקס ו-Fast מקבל את תעבורת החיפוש הכבדה.

צמצום וקטורים

שני המודלים תומכים ב-256-2048 ממדים ובפורמטים float32, int8, binary. לפי הערכת Cohere, וקטור float32 בן 2048 ממדים הוא 8 קילובייט, כלומר כ-819 GB ל-100 מיליון חלקים; וקטור int8 בן 1024 ממדים מקטין את הנפח ל-102 GB, ווקטור binary בן 256 ממדים — ל-3.2 GB. לרוב הפריסות Cohere ממליצה על int8 בן 1024 ממדים, בעוד ש-binary נותן דחיסה חזקה עם אובדן איכות.

חיפוש מעבר לטקסט

Embed 5 תומך בטקסט, בתמונות ובקלט משולב של טקסט ותמונה ביותר מ-100 שפות, עם הקשר של 128K טוקנים. לפי הנתונים של Cohere, בהערכה משולבת בת חמישה פריטים Pro קיבל 82.3 נקודות, Fast קיבל 81.2, ו-Google Gemini Embedding 2 קיבל 61.3; ב-ViDoRe V3 Pro היה 85.8 ו-Fast 84.5, לעומת 77 של Embed 4 הקודם. בבדיקות רב-לשוניות Pro מוביל עם 77 נקודות בממוצע אירופי בן חמש שפות, אך מפגר אחרי Gemini Embedding 2 בתשע בדיקות.

פרטי הבנצ'מרק

Embed 5 הוא המשפחה הראשונה של Cohere שהוערכה עם RCP-nDCG@10; גישה זו משתמשת בקריטריונים מותאמים לשאילתה במקום תוויות קבועות. היא מגלה תוצאות שהוחמצו בתוויות המקוריות, אך מודדת דירוג מחדש של מועמדים קבועים ולא חיפוש ראשוני מתוך הקורפוס המלא, ולכן המדדים אינם ניתנים להשוואה ישירה.

השינוי המרכזי הוא ש-Embed 5 מתייחס לאינדוקס ולשירות שאילתות כהחלטות נפרדות: קורפוס אחד מאונדקס לצורך איכות חיפוש, ונתיב השאילתה מותאם לתפוקה ולשהיה. 98.4 הנקודות של Cohere מצביעות על אובדן קטן, אך מערכות ייצור עדיין יצטרכו לבדוק את התצורה על הקורפוס שלהן. Embed 5 Pro ו-Fast זמינים ב-API של Cohere וב-Model Vault, ב-Microsoft Foundry וב-Amazon SageMaker; פריסה פרטית ב-VPC וב-on-premises עובדת עם vLLM.