מבוא: בעיה שהתעשייה מעמידה פנים שאינה קיימת

כשכל קריאת LLM מוסיפה 2-3 שניות של זמן אחזור, תהליך בן 5 צעדים אורך 15 שניות.

פיזיקת זמן האחזור

לכל קריאת LLM יש TTFT (Time to First Token) של 0.5-2 שניות.

שלוש בעיות עיקריות: הסתמכות יתר על מודלי קצה, ביצוע סדרתי חוסם ורetry מדורג.

שימוש במודלים קטנים יותר בצעדים מוקדמים וביצוע מקבילי ספקולטיבי מפחיתים זמן אחזור.

זמן אחזור ב-AI אתגר פתיר. המפתח הוא להכיר בקיומו.