מבחן אוצר מילים ל-170 אלף מילים באנגלית מעורר ביקורת על השיטה

אפליקציית ווב המתארחת ב-Google Cloud Run שואלת שאלה פשוטה — כמה מתוך כ-170 אלף המילים באנגלית אתם מכירים? — ועונה עליה במבחן של 100 שאלות אמריקאיות שמסתיים במספר אחד. הפרסום ב-Hacker News צבר 501 נקודות ו-555 תגובות, ורוב הדיון עסק לא במספר עצמו אלא בדרך שבה הוא מחושב.

איך המבחן עובד לפי ההסבר שלו

העמוד "How is this calculated" של האפליקציה, שצוטט בתגובות, קובע שלפי המילון האנגלי של אוקספורד (מהדורה שנייה) יש כ-171,476 מילים בשימוש פעיל. במקום מילים אקראיות, הכלי מצהיר שהוא משתמש בדגימה מרובדת ומחלק את השפה לחמישה מדרגי קושי לפי שכיחות השימוש: בסיסי (כ-3,000 מילים), בינוני (כ-7,000), מתקדם (כ-10,000), מומחה (כ-25,000) ו"המעורפל" (40,000 ואילך). ההערכה היא סכום של דיוק בכל מדרג כפול גודלו.

החשבון הזה עורר מיד ביקורת: המדרגים מסתכמים לכ-85 אלף מילים ולא ל-170 אלף, כך שגם מי שעונה נכון על הכול מקבל "הערכה מדעית" של בערך חצי מהשפה. כמה מגיבים דיווחו בדיוק על כך — 85 אלף מילים אחרי ריצה מושלמת.

מה עורר ספקות לגבי המילים וההגדרות

המשתמשים חלקו על שיוכן של מילים בודדות. לפי מגיב אחד, "breviary" סומנה כבינונית, בעוד שלדעתו זה מקום קל מדי למילה שרבים מהקוראים לא ראו מימיהם; אחרים הגנו עליה כמוכרת לקתולים ולקוראי כתבי יד מימי הביניים. "metamorphosis" ו-"kinetic" סומנו כרמת מומחה, מה שנראה לחלקם לא סביר. ואילו "Hippopotomonstrosesquippedaliophobia" כונתה מילת ראווה — כזו שאפשר לזהות רק לפי מרכיביה, וזה, כפי שכתב קורא אחד, קרוב יותר לטריוויה מאשר לאוצר מילים.

חלק מההגדרות בוקרו כרשלניות, ובהן "lethargy" שהוגדרה כ"מצב של תרדמה". גם פורמט השאלות האמריקאיות הקל על ניחושים: המגיבים ציינו שהאפשרות הארוכה ביותר הייתה לרוב הנכונה, ושהמסיחים פעלו לעיתים קרובות לפי תבנית של תשובה נכונה, משמעות הפוכה ושתי אפשרויות לא קשורות.

קצב, הטיה ומה ביקשו המשתמשים

התלונה הנפוצה ביותר הייתה טכנית: שלוש לחיצות לכל מילה במקום אחת, ו-100 מילים לעבור. חלקם הפסיקו מוקדם. מגיב אחד טען שהמבחן בקושי אדפטיבי, אם בכלל, ואחרים שיערו שלכולם מוצגת אותה רשימת מילים, אם כי חלקם ראו מילים שונות. בין ההצעות: לבדוק מאגר מילים גדול בהרבה ולדגום שאלות לכל משתמש כדי לצמצם את הטיית הבחירה, לעדכן את ההערכה אחרי כל תשובה, להוסיף כפתור "אני לא יודע" ולהציג סיכום של הטעויות.

התוצאות שדווחו בדיון נעות מכ-61 אלף עד 85 אלף מילים. מגיב אחד, שהשווה את המספר של האפליקציה לדגימה אקראית מתוך Shorter Oxford English Dictionary מ-1970, הסיק שהנתון מנופח; לדעת אחר, רשימת המילים מוטה בכבדות לשורשים לטיניים ויווניים, מה שנותן יתרון לדוברי השפות האלה.