למה Featherless אומרת שכדי לשלוח פיצה לא צריך טנק

ספקית שירותי ההסקה Featherless שחררה ספריית קוד פתוח Simple Jev. היא הופכת מודלים פתוחים למסווגים מהירים שיכולים למיין קלט לקטגוריות בלי דוגמאות.

Simple Jev מבוססת על Jev, מערכת טקסט בקוד סגור ששוחררה החודש על ידי TypeSafe, ומרחיבה את פונקציית ההחלטה המובנית גם למודלים פתוחים. אפליקציות יכולות להעריך קלט ולהחזיר קטגוריה או אחת משתי אפשרויות, בלי ליצור טקסט שיחה.

כדי לשלוח פיצה לא צריך טנק

לפי מנכ״ל Featherless, Eugene Cheah, עבור משימה רגילה כמו סיווג בקשת משתמש, שימוש במודל frontier דומה ל“לשלוח טנק כדי להביא פיצה”: הכלים מיותרים.

“טנק הפיצה בכל זאת יגיע ליעד, אבל הוא איטי, יקר וכלי תחבורה לא נכון”, אומר הוא. “עסקים צריכים תגובה מהירה, וזה סוג אחר של AI שהתעשייה התעלמה ממנו זמן רב”.

Cheah מודה שמודלים סגורים גדולים יכולים לבצע את המשימות האלה, אך סבור שהם הכלי הלא נכון לעבודה הזו: הם מגיעים לתשובה באמצעות יצירת טקסט, דרך LLM עם טריליוני פרמטרים, ולכך יש מחיר frontier. Simple Jev לא “כותב” תשובה: הוא עוצר את המודל במקום שבו הוא עשה בחירה, קורא את הציון של כל אפשרות ומוציא הסתברויות.

עבודה עם תמונות היא עדיין רק במודלים Gemma ו-Qwen.

מהו מסווג שלא צריך דוגמאות

מערכות כאלה משתמשות במודלי שפה מאומנים מראש כדי למיין קלט לקטגוריות שעבורן לא אומנו בנפרד. לפי Cheah, מסווגים אינם חידוש; באוניברסיטאות לימדו זאת עוד לפני הופעת ChatGPT; החדש הוא API zero-shot מהונדס היטב.

לדעתו, כל בוגר קורס AI/ML יכול לשחזר את Simple Jev במשפט אחד, והקוד פורסם ב-GitHub, לכן הוא מצפה למאות שיבוטים פתוחים של Jev.

מחירים והטיעון של מודלים פתוחים

Featherless גם פותחת נקודות קצה ציבוריות בחינם, כדי שמפתחים יוכלו לבדוק מודלים לסיווג בלי מפתח API; הדמו מוגבל להקשר של 2 000 טוקנים ולשני בקשות בשנייה. לייצור המחיר מתחיל מ-0,03 דולר למיליון טוקני קלט, טוקני פלט בחינם; המחיר של Jev מבית TypeSafe הוא 0,042 דולר.

לפי הערכת Cheah, סיווג תמונה או פסקת טקסט צורך בין 500 ל-1 200 טוקנים, כלומר במחיר 0,03 דולר למיליון טוקנים החלטה אחת עולה כשלוש אלפיות הסנט. Featherless קוראת לתעשייה לוותר על “מודלים אוניברסליים מונוליתיים”.

החברה שמה את הצעד בהקשר רחב יותר: OpenAI הציגה את CLIP בתחילת 2021, ו-Microsoft Florence-2 בקיץ 2024. Simple Jev זמין ב-GitHub.