Тест на 170 тисяч англійських слів викликав суперечки щодо методики

Вебзастосунок, розміщений на Google Cloud Run, ставить просте запитання — скільки з приблизно 170 000 слів англійської мови ви знаєте? — і відповідає на нього тестом із 100 запитань із варіантами, який завершується одним числом. Публікація на Hacker News зібрала 501 бал і 555 коментарів, і більшість обговорення точилася не навколо числа, а навколо того, як його отримано.

Як тест працює за його власним описом

Сторінка застосунку «Як це обчислюється», яку цитують коментатори, повідомляє: за даними Оксфордського словника англійської мови (друге видання) у вжитку перебуває приблизно 171 476 слів. Замість випадкових слів інструмент застосовує стратифіковану вибірку й поділяє мову на п'ять діапазонів складності за частотою вживання: базовий (~3 000 слів), середній (~7 000), просунутий (~10 000), експертний (~25 000) і «непрозорий» (40 000+). Оцінка — це сума добутків точності в кожному діапазоні на його розмір.

Ця арифметика одразу викликала зауваження: діапазони разом дають близько 85 000 слів, а не 170 000, тож навіть користувач, який відповів правильно на все, отримує «наукову оцінку» приблизно в половину мови. Кілька коментаторів повідомили саме про це — 85 000 слів після бездоганного проходження.

Що викликало сумніви щодо слів і визначень

Користувачі сперечалися про класифікацію окремих слів. За словами одного коментатора, «breviary» позначили як середній рівень, хоча це надто просте місце для слова, якого багато читачів ніколи не бачили; інші захищали його як знайоме католикам і читачам середньовічних рукописів. «Metamorphosis» і «kinetic» потрапили до експертного рівня, що декому здалося неправдоподібним. А «Hippopotomonstrosesquippedaliophobia» назвали показовим словом — упізнаваним лише за частинами, що, як висловився один читач, радше trivia, ніж лексика.

Частину визначень критикували за нечіткість, зокрема «lethargy», пояснене як «стан летаргії». Формат із варіантами також дозволяв угадувати: коментатори зауважили, що найдовший варіант часто був правильним, а неправильні відповіді нерідко будувалися за схемою «правильне значення, протилежне значення і дві не пов'язані речі».

Темп, упередженість і побажання користувачів

Найпоширеніша скарга була технічною: три кліки на слово там, де вистачило б одного, і 100 слів, які треба пройти. Дехто зупинявся завчасно. Один коментатор доводив, що тест майже не адаптивний, інші припускали, що всім показують той самий список слів, хоча частина бачила інші слова. Серед пропозицій — тестувати значно більший набір слів і вибирати запитання для кожного користувача окремо, щоб зменшити зміщення вибірки, оновлювати оцінку після кожної відповіді, додати кнопку «не знаю» та підсумок помилок.

Результати, опубліковані в обговоренні, коливалися від приблизно 61 000 до 85 000 слів. Один коментатор, який порівняв число застосунку з випадковою вибіркою зі Shorter Oxford English Dictionary 1970 року, дійшов висновку, що показник завищений; на думку іншого, список слів сильно зміщений у бік латинських і грецьких коренів, що дає перевагу носіям цих мов.