ה-ATS בקוד פתוח של HackerRank נתן לאותו קורות חיים בין 66 ל-99

HackerRank העלתה לקוד פתוח את מערכת ניהול המועמדויות שלה, ומפתח שבדק אותה גילה שאותו קורות חיים מקבל בין 66 ל-99 מתוך 100, בהתאם להרצה. הפרויקט פורסם ב-GitHub בשם interviewstreet/hiring-agent והתפשט בפוסטים בלינקדאין וברדיט לפני שהמחבר של בלוג danunparsed ניסה אותו.

מה מצאה הבדיקה

ההרצה העובדת הראשונה העניקה לקורות החיים 90 מתוך 100. לאחר ניקוי פקודות הדפסה שהושארו לצורכי התקנה, אותו קורות חיים עם אותה פקודה קיבל 74. השבתת מצב הפיתוח והרצת הכלי בלולאה מאה פעמים הניבו ציונים בין 66 ל-99; אם רף החברה עומד על 85, אותו קורות חיים נכשל בכ-65 אחוזים מהמקרים.

השונות אינה אחידה. הכישורים הטכניים קיבלו 8 מתוך 10 ב-98 מתוך 100 הרצות, כי הקטגוריה הזו היא בעצם רשימת בדיקה. הפרויקטים, ששווים 30 נקודות, השתנו כל הזמן — המודל אמר לפעמים שלפרויקטים חסר מורכבות ארכיטקטונית, ולפעמים שיבח פריסה בעולם האמיתי. גיליון GitHub מאוקטובר דיווח על ציונים של 27, 34, 32, 34, 34 ו-30 בשש הרצות רצופות. הניסיון, ששווה 25 נקודות, החזיר 25 מתוך 25 בכל פעם, כולל עבור קורות חיים ישנים עם התמחות אחת, כי ההנחיה שלו היא שתי שורות בלי קריטריונים ודוגמאות. כפי שהמחבר מנסח: עקבי, אבל חסר תועלת.

איך עובד הניקוד

הכלי ממיר קורות חיים ב-PDF לטקסט, קורא למודל שפה שש פעמים כדי לחלץ מידע מובנה — פרטים בסיסיים, ניסיון בעבודה, השכלה, כישורים, פרויקטים ופרסים — מושך את פרופיל ה-GitHub של המועמד ואת המאגרים המובילים כהקשר נוסף, ומזין הכול לקריאת דירוג סופית. הניקוד הוא מתוך 100 עם עד 20 נקודות בונוס: 35 נקודות על תרומות בקוד פתוח, 30 על פרויקטים אישיים, 25 על ניסיון בעבודה, 10 על כישורים טכניים, ובנוסף בונוסים על ניסיון בסטארטאפ, אתר תיק עבודות או בלוג טכני. ברירת המחדל היא המודל gemma3:4b בטמפרטורה 0.1.

למה זה חשוב

מעבר למודל חזק יותר צמצם את הטווח אך לא פתר את הבעיה: Gemini קיבץ ציונים בין 48 ל-64, מה שמתורגם לכישלון של 28 אחוזים מול רף של 60, והרצת Claude Opus 4.8 צמצמה את הפיזור רק במעט. המחבר טוען שהאי-דטרמיניזם הוא פגם בתכנון ולא בעיית כיוונון, ושדירוג שיקולי טעם אינו מתאים למודלי שפה. תיקון מ-28 ביוני מציין שתבנית ההערכה נפתחת במילים Software Intern, אך הרצה חוזרת עם הנחיה מפורשת של מהנדס בכיר הניבה תוצאות זהות — ממדי הניקוד אינם תלויים בתפקיד. הפוסט גם מזהיר שקוד פתוח ופרויקטים אישיים נושאים 65 אחוזים מהמשקל, מה שעלול לדחוק הצידה מהנדסים מנוסים שעבודתם מעולם לא הגיעה ל-GitHub.