4B açıq model axtarışda GPT-5.6 Sol ilə bərabərləşir — 100 dəfə ucuz
Neon və Castform-un birgə yazısı göstərir ki, RL ilə yenidən öyrədilmiş 4B açıq model axtarış tapşırıqlarında sərhəd modeli ilə bərabərləşir və xərci təxminən 100 dəfə azaldır.
Aqent axtarışında xərc problemi
2026-cı il avqustun 5-də Neon Castform ilə birgə yazı dərc edib: möhkəmləndirməli öyrənmə (RL) ilə yenidən öyrədilmiş 4B açıq model axtarış tapşırıqlarında mülkiyyət hüquqlu sərhəd modeli ilə rəqabət apara bilir və sorğu başına xərci təxminən 100 dəfə azaldır.
Yazı aqentlərin məlumatı necə axtardığındakı dəyişimi izləyir. Təqribən 2022-ci ildə sənaye embedding axtarışına sərmayə qoyurdu — pgvector Neon-un ən çox yüklənən genişlənməsi oldu — və mühəndislər RAG axınlarını əl ilə qururdu. 2025-ə qədər axtarış aqent xarakteri aldı: modellər tək sorğu yerinə dövr içində planlaşdırıb axtarır. Dövrün hər mərhələsi sərhəd modelə növbəti çağırış deməkdir; gpt-5.6-sol ilə tipik çoxaddımlı sorğu 10 saniyədən çox çəkir və başdan sona təxminən 0,03 dollara başa gəlir.
Açıq modelə axtarışı öyrətmək
Kiçik açıq çəkili modellər təxminən 100 dəfə ucuzdur, lakin qutudan çıxdığı kimi qapalı API modellərindən geri qalır. RL ilə yenidən öyrətmə bu fərqi bağlayır. Castform-un məqsədi tərtibatçıların maşın öyrənməsi və GPU daxili detalları ilə məşğul olmadan modelləri yenidən öyrətməsinə imkan verməkdir; həmtəsisçi Ying Hang Seah bunu prompt mühəndisliyi qədər əlçatan adlandırır və çox komandanın ən yaxşı təlim məlumatlarının artıq öz verilənlər bazalarında olduğunu qeyd edir.
Axın tamamilə Neon üzərində işləyir: xam sənədlər Postgres-dədir, sintetik təlim tapşırıqları lakebase_text və lakebase_vector genişlənmələri ilə yazılır, hər rollout-un axtarış çağırışı Lakebase Search-dən keçir və istehsalat inferensi eyni axtarış alətini istifadə edir. Mükafat funksiyası üç şeyi qiymətləndirir: düzgün mənbənin tapılmasını, düzgün parçanın sitat gətirilməsini və düzgün cavaba çatmağı.
Partlayışlı yüklər üçün infrastruktur
Təlim kəskin qeyri-bərabər yük yaradır: hər biri onlarca axtarış çağırışı edən minlərlə paralel rollout. Neon-un dinamik miqyaslanması bu zirvələri gün boyu maksimum güc ayırmağa ehtiyac olmadan udur. Müəlliflərə görə, aqentlər məlumatları dəyişməyə başladıqda bu infrastruktur daha da vacib olur: branching hər rollout-a təcrid olunmuş verilənlər bazası vəziyyəti verir, time-travel sorğuları isə aqentin nə gördüyünü bərpa etməyə imkan yaradır.
Əsas nəticə: axtarış kimi konkret tapşırıqda yenidən öyrədilmiş açıq model sərhəd modellərlə bərabərləşə və onları qat-qat aşağı xərclə üstələyə bilər — yəni aqent axtarışı artıq ən bahalı modeldə işləmək məcburiyyətində deyil.
SiTech — AI ilə gücləndirilmiş veb hazırlanması
Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.