HackerRank-ის ღია ATS-მა ერთი რეზიუმე 66-დან 99 ქულამდე შეაფასა

HackerRank-მა საკუთარი კანდიდატების შერჩევის სისტემა (ATS) ღია კოდად გამოაქვეყნა, და დეველოპერმა, რომელმაც ის გამოსცადა, აღმოაჩინა, რომ ერთი და იმავე რეზიუმე 100 ქულიდან 66-დან 99-მდე ფასდება გაშვების მიხედვით. პროექტი GitHub-ზე interviewstreet/hiring-agent სახელით ქვეყნდება და LinkedIn-სა და Reddit-ზე გავრცელდა.

რა აჩვენა ტესტმა

პირველმა მუშა გაშვებამ ავტორის რეზიუმეს 100-დან 90 ქულა მისცა. დაყენების დროს დარჩენილი debug-ბეჭდვის ხაზების წაშლის შემდეგ იმავე რეზიუმემ იმავე ბრძანებით 74 ქულა აიღო. development რეჟიმის გამორთვამ და ხელსაწყოს ასჯერად გაშვებამ 66-დან 99-მდე შედეგი მისცა; თუ კომპანიის ზღვარი 85 ქულაა, იგივე რეზიუმე შემთხვევათა დაახლოებით 65 პროცენტში ჩავარდება.

გაფანტულობა თანაბარი არ არის. ტექნიკური უნარები 100 გაშვებიდან 98-ში 10-დან 8 ქულა იყო, რადგან ეს კატეგორია არსებითად სიაა. 30 ქულის ღირებულების პროექტები კი მუდმივად ცვალებადობდა: მოდელი ზოგჯერ ამბობდა, რომ პროექტებს არქიტექტურული სირთულე აკლია, ზოგჯერ რეალურ გამოყენებას აქებდა; ოქტომბერში GitHub-ზე ექვს ზედიზედ გაშვებაში 27, 34, 32, 34, 34 და 30 ქულა დაფიქსირდა. 25 ქულის გამოცდილება ყოველ ჯერზე 25-დან 25 იყო — მათ შორის ერთი სტაჟირების მქონე ძველი რეზიუმესთვის — რადგან მისი ინსტრუქცია მხოლოდ ორი ხაზია, კრიტერიუმებისა და მაგალითების გარეშე. როგორც ავტორი ამბობს: თანმიმდევრული, მაგრამ უსარგებლო.

როგორ მუშაობს შეფასება

ხელსაწყო PDF რეზიუმეს ტექსტად გარდაქმნის, შემდეგ ექვსჯერ იძახებს ენის მოდელს სტრუქტურირებული მონაცემების ამოსაღებად — ძირითადი ინფორმაცია, სამუშაო გამოცდილება, განათლება, უნარები, პროექტები და ჯილდოები — იღებს კანდიდატის GitHub-ის პროფილსა და ტოპ რეპოზიტორიებს დამატებით კონტექსტად და ყველაფერს საბოლოო შეფასების ნაკადში აწოდებს. ქულა 100-ქულიანია, დამატებით 20 ბონუს ქულამდე: 35 ქულა ღია კოდში შეტანილი წვლილისთვის, 30 — პირადი პროექტებისთვის, 25 — სამუშაო გამოცდილებისთვის, 10 — ტექნიკური უნარებისთვის, პლუს ბონუსები სტარტაპის გამოცდილების, პორტფოლიოს საიტის ან ტექნიკური ბლოგისთვის. ნაგულისხმევი მოდელია gemma3:4b 0.1 temperature-ით.

რატომ აქვს მნიშვნელობა

უფრო ძლიერ მოდელზე გადასვლამ დიაპაზონი შეამცირა, მაგრამ პრობლემა არ გადაჭრა: Gemini-ს შედეგები 48-დან 64-მდე ჯგუფდება, რაც 60-ქულიანი ზღვრის შემთხვევაში მაინც 28 პროცენტში ჩავარდება, Claude Opus 4.8-მა კი გაფანტულობა მხოლოდ ოდნავ შეამცირა. ავტორი ამბობს, რომ არადეტერმინიზმი დიზაინის ხარვეზია და არა პარამეტრების საკითხი, და რომ გემოვნებითი გადაწყვეტილებების შეფასება ენის მოდელებს ცუდად გამოსდის. 28 ივნისის შესწორებაში აღნიშნულია, რომ შაბლონი იწყება სიტყვებით Software Intern, თუმცა ცხადი უფროსი ინჟინრის ინსტრუქციით გაშვებამ იდენტური შედეგი მისცა. ბლოგი აფრთხილებს, რომ ღია კოდი და პირადი პროექტები წონის 65 პროცენტს ატარებს, რამაც გამოცდილი ინჟინრები შეიძლება ჩამოაშოროს შერჩევას.