170 min ingilis sözünü ölçən test metodologiyasına görə tənqid olundu

Google Cloud Run üzərində yerləşən veb tətbiq sadə bir sual verir — ingilis dilindəki təxminən 170 min sözdən neçəsini bilirsiniz? — və buna tək bir rəqəmlə bitən 100 suallıq testlə cavab verir. Hacker News-dəki paylaşım 501 bal və 555 şərh topladı; müzakirənin böyük hissəsi rəqəmin özündən çox onun necə hesablandığına yönəldi.

Test öz izahına görə necə işləyir

Şərhçilərin sitat gətirdiyi "Bu necə hesablanır" səhifəsi bildirir ki, Oksford ingilis dili lüğətinə (ikinci nəşr) görə hazırda istifadədə təxminən 171 476 söz var. Alət təsadüfi sözlər əvəzinə təbəqəli seçmə üsulundan istifadə etdiyini və dili istifadə tezliyinə görə beş çətinlik qurşağına böldüyünü bildirir: əsas (~3 000 söz), orta (~7 000), qabaqcıl (~10 000), ekspert (~25 000) və "qeyri-aydın" (40 000+). Qiymətləndirmə hər qurşaqda dəqiqliyin həmin qurşağın ölçüsünə vurulmasının cəmidir.

Bu hesablama dərhal suallar doğurdu: qurşaqların cəmi 170 000 deyil, təxminən 85 000 söz edir; yəni bütün sualları düz cavablandıran istifadəçi də dilin təxminən yarısına bərabər "elmi qiymətləndirmə" alır. Bir neçə şərhçi məhz bunu bildirdi: qüsursuz keçiddən sonra 85 000 söz.

Sözlərə və izahlara edilən etirazlar

İstifadəçilər ayrı-ayrı sözlərin təsnifatına etiraz etdilər. Bir şərhçiyə görə "breviary" orta səviyyə kimi işarələnmişdi və bu, bir çox oxucunun heç görmədiyi söz üçün həddən artıq asan yer idi; digərləri isə sözün katoliklərə və orta əsr əlyazmalarının oxucularına tanış olduğunu müdafiə etdi. "Metamorphosis" və "kinetic" ekspert səviyyəsində göstərilmişdi, bəziləri bunu inandırıcı saymadı. "Hippopotomonstrosesquippedaliophobia" isə nümayiş sözü adlandırıldı — bir oxucunun ifadəsi ilə desək, hissələrinə görə tanınır və bu, söz ehtiyatından çox viktorina sualına bənzəyir.

Bəzi izahlar da qeyri-dəqiq hesab edildi; məsələn, "lethargy" üçün "letargiya vəziyyəti" verilmişdi. Çoxseçimli format təxmin etməyi asanlaşdırırdı: şərhçilər ən uzun variantın çox vaxt düzgün olduğunu və yanlış cavabların tez-tez "düzgün məna, əks məna və iki əlaqəsiz şey" sxeminə uyduğunu qeyd etdilər.

Tempo, qərəz və istifadəçi tələbləri

Ən çox yayılan şikayət texniki idi: bir klik kifayət edəcəyi halda söz başına üç klik və başdan-başa 100 söz. Bəziləri tez dayandı. Bir şərhçi testin demək olar ki, adaptiv olmadığını müdafiə etdi, digərləri hamıya eyni söz siyahısının göstərildiğini ehtimal etdi, baxmayaraq ki, bəziləri fərqli sözlər görürdü. Təkliflər arasında daha böyük söz toplusunun yoxlanması və hər istifadəçi üçün sualların seçilməsi, qiymətləndirmənin hər cavabdan sonra yenilənməsi, "bilmirəm" düyməsi və səhv cavabların xülasəsi var idi.

Müzakirədə paylaşılan nəticələr təxminən 61 000 ilə 85 000 söz arasında dəyişdi. Tətbiqin rəqəmini 1970-ci il nəşri olan Shorter Oxford English Dictionary-dən təsadüfi nümunə ilə müqayisə edən bir şərhçi göstəricinin şişirdilmiş olduğu qənaətinə gəldi; digərinin fikrincə, söz siyahısı latın və yunan köklərinə həddindən artıq meyllidir və bu, həmin dillərin daşıyıcılarına üstünlük verir.