Anthropic משחררת Message Threads כבטא ציבורית לפלטפורמת Claude
Anthropic שחררה את Message Threads כבטא ציבורית לפלטפורמת Claude, והקיצרה את זמן ההמתנה לטוקן הראשון בכ-35% בשיחות ארוכות, בלי לשנות את כמות הטוקנים שנעשה בהם שימוש בבקשת ה-API.
Anthropic שחררה את Message Threads כבטא ציבורית בפלטפורמת Claude. התכונה משנה את אופן שליחת היסטוריית השיחה בבקשות API, ומעבירה רק את התוכן שהשתנה מאז ההודעה האחרונה. Anthropic מציינת כי הדבר מקצר את זמן ההמתנה לטוקן הראשון בכ-35% עבור בקשות של בין 500,000 למיליון טוקנים.
כיצד משתנות הבקשות
עד כה, כל בקשת API הייתה חייבת לשלוח מחדש את כל היסטוריית השיחה. עם Message Threads, רק התוכן שהשתנה מועבר, בעוד Claude עדיין קורא את כל היסטוריית השיחה. כמות הטוקנים בשימוש לא משתנה כתוצאה מכך.
השימושים המתאימים ביותר
Anthropic מציינת כי סוכני קוד, סוכני שימוש במחשב, ותהליכי עבודה שמעבדים מספר גדול של מסמכים או תמונות נהנים מכך ביותר. השרשור נשאר מוצפן בזיכרון בין בקשות ופג תוקפו לאחר חמש דקות של חוסר פעילות.
זמינות
התכונה פועלת בפלטפורמת Claude ובאמצעות AWS, Microsoft Foundry ו-Google Cloud. פרטים נוספים זמינים בתיעוד.
מקורות: The Decoder
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.