Cohere, Embed 5'i tanıttı: Pro ile indeksleme, Fast ile arama

Cohere çarşamba günü Embed 5'i tanıttı. Model, verilerin Embed 5 Pro ile indekslenmesini, aynı vektörler üzerinde aramanın ise daha ucuz Embed 5 Fast ile ikinci bir indeks olmadan yapılmasını sağlıyor. Cohere, özellikle aynı verilerin defalarca arandığı ve gecikmenin biriktiği RAG ile ajan tabanlı sistemlerde indeksleme için Pro, arama için Fast kullanılmasını öneriyor.

Arama kalitesindeki ödün küçük. Metin, görsel, birleşik ve işlenmiş belgelerden oluşan 40 sette Pro indeksi üzerinde yapılan Fast arama, Pro-to-Pro 100 temelinde 98,4 puan aldı; Fast indekslemede de kullanılsaydı gösterge 96,6'ya düşerdi. Cohere'e göre tek tek setlerde keskin bir düşüş kaydedilmedi.

Tek vektör uzayı, iki model

Pro ve Fast aynı vektör uzayını paylaşır, bu yüzden aralarında geçiş korpusu yeniden işlemeden mümkündür. İkisi de aynı boyutta uyumlu vektörler üretir ve Matryoshka indirgemesi veya int8 niceleme ile birlikte karıştırılabilir. Pro milyon token başına 0,12 dolar, Fast ise 0,08 dolar tutar ve testlerde belgeleri ortalama 2,4 kat daha hızlı işler; bu nedenle Pro indekse giren belgeleri işler, Fast ağır arama trafiğini üstlenir.

Vektörleri küçültme

Her iki model 256-2048 boyutu ve float32, int8, binary formatlarını destekler. Cohere'in değerlendirmesine göre 2048 boyutlu float32 vektör 8 kilobayttır, yani 100 milyon parça için yaklaşık 819 GB; 1024 boyutlu int8 vektör bu hacmi 102 GB'a, 256 boyutlu binary ise 3,2 GB'a düşürür. Çoğu dağıtım için Cohere 1024 boyutlu int8 öneriyor; binary ise kalite kaybıyla güçlü sıkıştırma sağlıyor.

Metnin ötesinde arama

Embed 5 metin, görsel ve birleşik metin-görsel girdiyi 100'den fazla dilde, 128K token bağlamıyla destekler. Cohere verilerine göre beş öğeli birleşik değerlendirmede Pro 82,3 puan, Fast 81,2, Google Gemini Embedding 2 ise 61,3 aldı; ViDoRe V3'te Pro 85,8, Fast 84,5 olurken önceki Embed 4 77'de kaldı. Çok dilli testlerde Pro beş dilli Avrupa ortalamasında 77 puanla lider, ancak dokuz testte Gemini Embedding 2'nin gerisinde kalıyor.

Benchmark ayrıntıları

Embed 5, Cohere'in RCP-nDCG@10 ile değerlendirilen ilk ailesidir; bu yaklaşım sabit etiketler yerine sorguya uyarlanmış ölçütler kullanır. Orijinal etiketlerle kaçırılan sonuçları bulur, ancak tam korpustan ilk aramayı değil sabit adaylar üzerinde yeniden sıralamayı ölçer, bu nedenle göstergeler doğrudan karşılaştırılabilir değildir.

Ana değişiklik, Embed 5'in indekslemeyi ve sorgu sunumunu ayrı kararlar olarak ele almasıdır: tek bir korpus arama kalitesi için indekslenir, sorgu yolu ise verim ve gecikme için optimize edilir. Cohere'in 98,4 puanı küçük bir kayba işaret ediyor, ancak üretim sistemleri yine de kendi korpuslarında yapılandırmayı test etmek zorunda kalacak. Embed 5 Pro ve Fast, Cohere API'si ve Model Vault, Microsoft Foundry ve Amazon SageMaker'da kullanılabilir; özel VPC ve on-premises dağıtım vLLM ile çalışır.