HackerRank-ի բաց կոդով ATS-ը նույն ռեզյումեին 66-ից 99 միավոր տվեց

HackerRank-ը բացել է իր թեկնածուների ընտրության համակարգի կոդը, և այն փորձարկած մշակողը պարզել է, որ նույն ռեզյումեն գործարկումից կախված ստանում է 100-ից 66-ից 99 միավոր։ Նախագիծը GitHub-ում հրապարակվել է interviewstreet/hiring-agent անունով և տարածվել LinkedIn-ի ու Reddit-ի գրառումներով, մինչև danunparsed բլոգի հեղինակը ինքն է փորձել այն։

Ինչ ցույց տվեց թեստը

Առաջին աշխատող գործարկումը հեղինակի ռեզյումեին տվեց 100-ից 90 միավոր։ Կարգավորման ընթացքում թողնված վրիպազերծման print տողերը մաքրելուց հետո նույն ռեզյումեն նույն հրահանգով ստացավ 74 միավոր։ Զարգացման ռեժիմն անջատելը և գործիքը հարյուր անգամ ցիկլով գործարկելը տվեց 66-ից 99 միավոր; եթե ընկերության շեմը 85 է, նույն ռեզյումեն մերժվում է դեպքերի մոտ 65 տոկոսում։

Տարածվածությունը հավասար չէ։ Տեխնիկական հմտությունները 100 գործարկումից 98-ում ստացան 10-ից 8 միավոր, քանի որ այդ կատեգորիան ըստ էության ցուցակ է։ 30 միավոր արժող նախագծերը մշտապես տատանվում էին. մոդելը երբեմն ասում էր, որ նախագծերին պակասում է ճարտարապետական բարդություն, երբեմն գովում էր իրական կիրառումը։ Հոկտեմբերին GitHub-ի մի քննարկում վեց հաջորդական գործարկումներում գրանցել է 27, 34, 32, 34, 34 և 30 միավոր։ 25 միավոր արժող փորձը ամեն անգամ վերադարձնում էր 25-ից 25՝ ներառյալ մեկ ստաժավորում ունեցող հին ռեզյումեի համար, քանի որ նրա հրահանգը ընդամենը երկու տող է՝ առանց չափանիշների ու օրինակների։ Ինչպես ձևակերպում է հեղինակը՝ հետևողական, բայց անօգուտ։

Ինչպես է աշխատում գնահատումը

Գործիքը PDF ռեզյումեն վերածում է տեքստի, ապա վեց անգամ կանչում լեզվական մոդել՝ կառուցվածքային տվյալներ հանելու համար՝ հիմնական տվյալներ, աշխատանքային պատմություն, կրթություն, հմտություններ, նախագծեր և մրցանակներ, վերցնում է թեկնածուի GitHub-ի պրոֆիլն ու լավագույն պահոցները որպես լրացուցիչ կոնտեքստ և ամեն ինչ ուղարկում է վերջնական գնահատման կանչին։ Միավորը 100-ից է, գումարած՝ մինչև 20 բոնուսային միավոր. 35 միավոր բաց կոդով ներդրման համար, 30՝ անձնական նախագծերի, 25՝ աշխատանքային փորձի, 10՝ տեխնիկական հմտությունների համար, ինչպես նաև բոնուսներ ստարտափ փորձի, պորտֆոլիոյի կայքի կամ տեխնիկական բլոգի համար։ Լռելյայն մոդելը gemma3:4b է՝ 0.1 ջերմաստիճանով։

Ինչու է դա կարևոր

Ավելի ուժեղ մոդելին անցնելը նեղացրեց միջակայքը, սակայն չլուծեց խնդիրը. Gemini-ն միավորները կուտակում էր 48-ից 64-ի միջև, ինչը 60 շեմի դեպքում դեռ 28 տոկոս դեպքերում ձախողում է, իսկ Claude Opus 4.8-ի գործարկումը տարածվածությունը միայն փոքր-ինչ կրճատեց։ Հեղինակը պնդում է, որ ոչ դետերմինիզմը դիզայնի արատ է, ոչ թե կարգավորումների հարց, և որ ճաշակի դատողությունների գնահատումը լեզվական մոդելներին վատ է սազում։ Հունիսի 28-ի ուղղումը նշում է, որ գնահատման ձևանմուշը սկսվում է Software Intern բառերով, սակայն ավագ ինժեների հստակ հրահանգով գործարկումը տվեց նույն արդյունքները՝ գնահատման չափումները կախված չեն պաշտոնից։ Գրառումը նաև զգուշացնում է, որ բաց կոդն ու անձնական նախագծերը կրում են քաշի 65 տոկոսը, ինչը կարող է հետին պլան մղել փորձառու ինժեներներին, ում աշխատանքը երբեք չի հայտնվել GitHub-ում։