מודל פתוח בגודל 4B משווה ל-GPT-5.6 Sol בחיפוש — פי 100 זול יותר

בעיית העלות בחיפוש סוכני

ב-5 באוגוסט 2026 פרסמה Neon פוסט משותף עם Castform המתאר כיצד מודל פתוח בגודל 4B, שעבר אימון מחדש בלמידת חיזוק (RL), יכול להשוות למודל קנייני מהחזית במשימות אחזור — בעלות נמוכה פי 100 בקירוב לכל בקשה.

המאמר מתאר את השינוי באופן שבו סוכנים מוצאים מידע. בסביבות 2022 השקיעה התעשייה בחיפוש וקטורי — pgvector הפך לתוסף המורד ביותר של Neon — ומהנדסים בנו צינורות RAG ביד. עד 2025 האחזור הפך לסוכני: המודלים מתכננים ומחפשים בלולאה במקום לשלוח שאילתה אחת. כל סיבוב בלולאה הוא קריאה נוספת למודל חזית, ובקשה רב-שלבית טיפוסית עם gpt-5.6-sol נמשכת יותר מ-10 שניות ועולה כ-0.03 דולר מקצה לקצה.

איך מלמדים מודל פתוח לחפש

מודלים פתוחים קטנים זולים פי 100 בערך, אך מחוץ לקופסה הם מפגרים אחרי מודלים סגורים ב-API. אימון RL מחדש סוגר את הפער. מטרתה של Castform היא לאפשר למפתחים לאמן מודלים מחדש בלי להתמודד עם פנימיות של למידת מכונה ו-GPU; המייסד השותף Ying Hang Seah מתאר זאת כנגיש כמו הנדסת פרומפטים, ומציין שנתוני האימון הטובים ביותר של רוב הצוותים כבר יושבים במסדי הנתונים שלהם.

הצינור רץ כולו על Neon: מסמכים גולמיים ב-Postgres, משימות אימון סינתטיות נכתבות בהרחבות lakebase_text ו-lakebase_vector, כל קריאת חיפוש בכל rollout עוברת דרך Lakebase Search, והאינפרנס בפרודקשן משתמש באותה קריאת חיפוש. פונקציית התגמול מדרגת שלושה דברים: האם נמצא המקור הנכון, האם צוטט הקטע הנכון והאם התקבלה התשובה הנכונה.

תשתית לעומסים מתפרצים

האימון יוצר עומס מתפרץ: אלפי rollout-ים במקביל, שכל אחד מהם מבצע עשרות קריאות חיפוש. ההתרחבות הדינמית של Neon סופגת את השיאים בלי להקצות קיבולת מקסימלית בכל שעות היממה. הכותבים טוענים שהתשתית הזו נעשית חשובה עוד יותר כשסוכנים מתחילים לשנות נתונים: branching נותן לכל rollout מצב בסיס נתונים מבודד, ושאילתות time-travel מאפשרות לשחזר את מה שהסוכן ראה.

המסקנה המרכזית: במשימה ספציפית כמו חיפוש, מודל פתוח שעבר אימון מחדש יכול להשוות למודלי חזית ואף לנצח אותם בעלות נמוכה בסדרי גודל — כלומר אחזור סוכני כבר לא חייב לרוץ על המודל היקר ביותר.

📖 מקור