HackerRank-in açıq mənbə ATS-i eyni CV-yə 66-99 bal arası qiymət verdi

HackerRank öz namizəd izləmə sistemini açıq mənbəyə çıxardı və onu sınaqdan keçirən proqramçı aşkar etdi ki, eyni CV işə salmadan asılı olaraq 100 baldan 66-99 arası qiymət alır. Layihə GitHub-da interviewstreet/hiring-agent adı ilə dərc olunub və danunparsed bloqunun müəllifi onu yoxlamazdan əvvəl LinkedIn və Reddit paylaşımları ilə yayılıb.

Test nə göstərdi

İlk işləyən buraxılış müəllifin CV-sinə 100 baldan 90 verdi. Quraşdırmadan qalan sazlama print sətirləri təmizləndikdən sonra eyni CV, eyni əmrlə 74 bal aldı. İnkişaf rejimini söndürmək və aləti yüz dəfə dövrəyə salmaq 66-99 arası nəticə verdi; şirkətin həddi 85-dirsə, eyni CV halların təqribən 65 faizində uğursuz olur.

Yayılma bərabər deyil. Texniki bacarıqlar 100 buraxılışdan 98-də 10 baldan 8 aldı, çünki bu kateqoriya əslində yoxlama siyahısıdır. 30 bal dəyərindəki layihələr isə daim dəyişirdi: model bəzən deyirdi ki, layihələrdə arxitektura mürəkkəbliyi çatmır, bəzən real tətbiqi tərifləyirdi. Oktyabrda GitHub-da bir məsələdə altı ardıcıl buraxılışda 27, 34, 32, 34, 34 və 30 bal qeydə alınıb. 25 bal dəyərindəki təcrübə hər dəfə 25-dən 25 qaytardı — bir təcrübə proqramı olan köhnə CV üçün də — çünki onun təlimatı yalnız iki sətirdir, meyar və nümunə yoxdur. Müəllifin sözləri ilə: ardıcıl, amma faydasız.

Qiymətləndirmə necə işləyir

Alət PDF CV-ni mətnə çevirir, sonra strukturlaşdırılmış məlumat çıxarmaq üçün dil modelini altı dəfə çağırır — əsas məlumatlar, iş tarixçəsi, təhsil, bacarıqlar, layihələr və mükafatlar — namizədin GitHub profilini və əsas repozitoriyalarını əlavə kontekst kimi götürür və hər şeyi son qiymətləndirmə çağırışına ötürür. Bal 100 üzərindən, üstəgəl 20-ə qədər bonus: açıq mənbə töhfələrinə 35, şəxsi layihələrə 30, iş təcrübəsinə 25, texniki bacarıqlara 10 bal, həmçinin startap təcrübəsi, portfel saytı və ya texniki bloq üçün bonuslar. Standart model 0.1 temperaturda gemma3:4b-dir.

Niyə əhəmiyyətlidir

Daha güclü modelə keçid aralığı daraltdı, lakin problemi həll etmədi: Gemini balları 48-64 arasında topladı, bu da 60 həddində 28 faiz uğursuzluq deməkdir; Claude Opus 4.8 isə yayılmanı yalnız bir az daraltdı. Müəllif iddia edir ki, qeyri-determinizm sazlama deyil, dizayn qüsurdur və zövq əsaslı qərarların qiymətləndirilməsi dil modellərinə uyğun deyil. 28 iyun tarixli düzəliş qeyd edir ki, qiymətləndirmə şablonu Software Intern sözləri ilə başlayır, amma açıq şəkildə baş mühəndis təlimatı ilə təkrar buraxılış eyni nəticələri verdi — qiymətləndirmə ölçüləri vəzifədən asılı deyil. Yazı həmçinin xəbərdarlıq edir ki, açıq mənbə və şəxsi layihələr çəkinin 65 faizini daşıyır; bu, işi heç vaxt GitHub-a çıxmamış təcrübəli mühəndisləri kənarda qoya bilər.