اختبار يزعم قياس 170 ألف كلمة إنجليزية يواجه انتقادات لمنهجيته

يسأل تطبيق ويب مستضاف على Google Cloud Run سؤالًا بسيطًا: كم تعرف من بين نحو 170 ألف كلمة في اللغة الإنجليزية؟ ويجيب عنه باختبار من 100 سؤال متعدد الخيارات ينتهي برقم واحد. حصد المنشور على Hacker News 501 نقطة و555 تعليقًا، لكن معظم النقاش دار حول طريقة احتساب الرقم لا حول الرقم نفسه.

كيف يعمل الاختبار بحسب شرحه الخاص

تقول صفحة "كيف يُحتسب هذا" في التطبيق، التي اقتبسها المعلّقون، إن قاموس أكسفورد الإنجليزي (الطبعة الثانية) يضم نحو 171,476 كلمة مستخدمة حاليًا. وبدلًا من كلمات عشوائية، يذكر الأداة أنها تستخدم العيّنة الطبقية، إذ تقسّم اللغة إلى خمس طبقات صعوبة بحسب تكرار الاستخدام: الأساسية (نحو 3000 كلمة)، والمتوسطة (نحو 7000)، والمتقدمة (نحو 10,000)، والخبيرة (نحو 25,000)، و«الغامضة» (40 ألفًا وأكثر). والتقدير هو مجموع حاصل ضرب الدقة في كل طبقة بحجم تلك الطبقة.

أثارت هذه الحسبة اعتراضًا فوريًا: مجموع الطبقات يبلغ نحو 85 ألف كلمة لا 170 ألفًا، أي أن من يجيب عن كل الأسئلة إجابة صحيحة ينتهي إلى «تقدير علمي» يعادل نحو نصف اللغة. وقد أبلغ عدة معلّقين عن ذلك بالضبط: 85 ألف كلمة بعد جولة كاملة دون أخطاء.

مواضع التشكيك في الكلمات والتعريفات

اعترض المستخدمون على تصنيف كلمات بعينها. قال أحد المعلّقين إن كلمة "breviary" صُنّفت متوسطة، وهو ما يراه أسهل كثيرًا مما ينبغي لكلمة لم يرها كثير من القراء قط، بينما دافع آخرون عنها باعتبارها مألوفة للكاثوليك وقرّاء المخطوطات في العصور الوسطى. وصُنّفت "metamorphosis" و"kinetic" في المستوى الخبير، وهو ما رآه البعض غير مقنع. أما "Hippopotomonstrosesquippedaliophobia" فقد وُصفت بكلمة استعراضية لا تُعرف إلا من مكوّناتها، وهو ما يشبه، بحسب أحد القراء، المعلومات العامة أكثر من المفردات.

وانتُقدت بعض التعريفات بأنها رخوة، ومنها تعريف "lethargy" بأنها «حالة من الخمول». كما سهّل شكل الأسئلة متعددة الخيارات التخمين: فقد لاحظ المعلّقون أن أطول الخيارات كان غالبًا هو الصحيح، وأن الخيارات الخاطئة كثيرًا ما تتبع نمط «المعنى الصحيح، والمعنى المعاكس، وأمرين لا علاقة لهما».

الإيقاع والتحيّز ومطالب المستخدمين

كان أكثر الشكاوى تقنية: ثلاث نقرات لكل كلمة حيث تكفي واحدة، و100 كلمة يجب اجتيازها. وتوقف بعضهم مبكرًا. ورأى أحد المعلّقين أن الاختبار بالكاد تكيّفي، فيما افترض آخرون أن القائمة نفسها تُعرض على الجميع، وإن كان بعضهم قد رأى كلمات مختلفة. ومن الاقتراحات المطروحة: اختبار مجموعة كلمات أكبر بكثير واختيار أسئلة لكل مستخدم على حدة لتقليل تحيّز الانتقاء، وتحديث التقدير بعد كل إجابة، وإضافة زر «لا أعرف»، وعرض ملخص للأخطاء.

تراوحت النتائج المنشورة في النقاش بين نحو 61 ألفًا و85 ألف كلمة. وخلص أحد المعلّقين، الذي قارن رقم التطبيق بعيّنة عشوائية من طبعة عام 1970 من Shorter Oxford English Dictionary، إلى أن الرقم مبالغ فيه؛ ورأى آخر أن قائمة الكلمات تميل بشدة إلى الجذور اللاتينية واليونانية، ما يمنح متحدثي هاتين اللغتين أفضلية.