Cohere-ը ներկայացրել է Embed 5-ը՝ ինդեքսավորում Pro-ով, որոնում Fast-ով

Cohere-ը չորեքշաբթի ներկայացրել է Embed 5-ը։ Մոդելը թույլ է տալիս տվյալները ինդեքսավորել Embed 5 Pro-ով, իսկ նույն վեկտորներով որոնումը կատարել ավելի էժան Embed 5 Fast-ով՝ առանց երկրորդ ինդեքսի։ Cohere-ը խորհուրդ է տալիս ինդեքսավորման համար օգտագործել Pro, որոնման համար՝ Fast, հատկապես RAG և գործակալային համակարգերում, որտեղ նույն տվյալները բազմիցս են որոնվում և ուշացումը կուտակվում է։

Որոնման որակի զիջումը փոքր է։ Տեքստի, պատկերների, միավորված և մշակված փաստաթղթերի 40 հավաքածուում Pro ինդեքսով Fast որոնումը Pro-to-Pro բազային 100-ի ֆոնին ստացել է 98,4 միավոր. եթե Fast-ը օգտագործեին նաև ինդեքսավորման համար, ցուցանիշը կիջներ մինչև 96,6։ Cohere-ի փոխանցմամբ՝ առանձին հավաքածուներում կտրուկ անկում չի գրանցվել։

Մեկ վեկտորային տարածք, երկու մոդել

Pro-ը և Fast-ը կիսում են մեկ վեկտորային տարածք, ուստի դրանց միջև անցումը հնարավոր է առանց կորպուսը նորից մշակելու։ Երկուսն էլ ստեղծում են նույն չափման համատեղելի վեկտորներ, և Matryoshka-ի կրճատման կամ int8 քվանտացման հետ դրանք նաև խառնելի են։ Pro-ն արժե 0,12 դոլար մեկ միլիոն token-ի համար, Fast-ը՝ 0,08, և թեստերում փաստաթղթերի մշակման միջինը 2,4 անգամ ավելի արագ է աշխատում, այդ պատճառով Pro-ն մշակում է ինդեքս մտնող փաստաթղթերը, իսկ Fast-ը՝ ծանր որոնողական տրաֆիկը։

Վեկտորների կրճատում

Երկու մոդելներն էլ աջակցում են 256-2048 չափման և float32, int8, binary ձևաչափերին։ Cohere-ի գնահատմամբ՝ 2048-չափման float32 վեկտորը 8 կիլոբայթ է, այսինքն՝ մոտ 819 ԳԲ 100 միլիոն մասի համար. 1024-չափման int8 վեկտորը այդ ծավալը նվազեցնում է մինչև 102 ԳԲ, իսկ 256-չափման binary-ն՝ մինչև 3,2 ԳԲ։ Տեղակայումների մեծ մասի համար Cohere-ը խորհուրդ է տալիս 1024-չափման int8, իսկ binary-ն ուժեղ սեղմում է տալիս որակի կորստով։

Որոնում տեքստից այն կողմ

Embed 5-ը աջակցում է տեքստին, պատկերներին և միավորված տեքստային-պատկերային մուտքին 100-ից ավելի լեզուներով՝ 128K token կոնտեքստով։ Cohere-ի տվյալներով՝ հինգ բաղադրիչով միավորված գնահատման մեջ Pro-ն վաստակել է 82,3 միավոր, Fast-ը՝ 81,2, Google-ի Gemini Embedding 2-ը՝ 61,3. ViDoRe V3-ում Pro-ն 85,8 էր, Fast-ը՝ 84,5՝ նախորդ Embed 4-ի 77-ի դիմաց։ Բազմալեզու թեստերում Pro-ն առաջատար է հնգալեզու եվրոպական միջինում 77 միավորով, սակայն ինը թեստերում զիջում է Gemini Embedding 2-ին։

Բենչմարկի մանրամասներ

Embed 5-ը Cohere-ի առաջին ընտանիքն է, որը գնահատվել է RCP-nDCG@10-ով. այս մոտեցումը ֆիքսված պիտակների փոխարեն օգտագործում է հարցումով պայմանավորված չափանիշներ։ Այն հայտնաբերում է բաց թողնված արդյունքները բուն պիտակներով, սակայն չափում է ֆիքսված թեկնածուների վերադասավորումը, ոչ թե ամբողջ կորպուսից առաջնային որոնումը, ուստի ցուցանիշները ուղղակիորեն համադրելի չեն։

Հիմնական փոփոխությունն այն է, որ Embed 5-ը ինդեքսավորումը և հարցումների սպասարկումը դիտարկում է որպես առանձին լուծումներ. մեկ կորպուս ինդեքսավորվում է որոնման որակի համար, իսկ հարցման ուղին օպտիմիզացվում է թողունակության և ուշացման համար։ Cohere-ի 98,4 միավորը ցույց է տալիս փոքր կորուստ, սակայն արտադրական համակարգերը դեռ պետք է ստուգեն կոնֆիգուրացիան սեփական կորպուսում։ Embed 5 Pro-ն և Fast-ը հասանելի են Cohere-ի API-ում և Model Vault-ում, Microsoft Foundry-ում և Amazon SageMaker-ում. մասնավոր VPC և on-premises տեղակայումը աշխատում է vLLM-ով։