Астротурфінг на Reddit: що показали 51 129 коментарів із ножових субредітів

Пітер Відже, який веде сайт для колекціонерів ножів New Knife Day, опублікував аналіз, у якому питає, чи мають ножові спільноти Reddit ознаки оплачених дописів. Його висновок навмисно стриманий: рекомендації сконцентровані сильніше, ніж це можна пояснити самою випадковістю, але відповідальні за це акаунти виглядають як звичайні ентузіасти, а не наймані підставні автори.

Що саме вимірювали

Корпус охоплює шість субредітів: r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc і r/KnifeSteels. Модель розпізнавання іменованих сутностей позначає бренди в кожному зібраному коментарі, а «купувальні треди» визначено регулярним виразом за заголовками й текстами, за фразами на кшталт «should I buy» чи «best knife».

Одне оновлення змінило результат. Скрапер зберігає коментарі занадто рано: купувальні треди збирають поради протягом наступної доби-двох, тож у постів r/knives було лише 1,5 збереженого коментаря. Повторне завантаження 3 607 постів старших за 48 годин збільшило корпус із 21 673 до 51 129 коментарів у 6 675 постах.

«Хвіст» — це 5% із 987 авторів, які мають щонайменше 10 коментарів, відібрані за тим, наскільки сильно вони тримаються одного бренду: 49 акаунтів. Далі Відже 1 000 разів випадково перерозподілив імена авторів між усіма згадками, тож кожен акаунт зберіг свій обсяг дописування, але втратив зв'язок із тредами, де він з'являється.

Що показують числа

Цей перерозподіл передбачає, що «хвіст» мав би написати близько 7,9% згадок брендів у купувальних тредах, майже завжди в межах від 6,3% до 10,1%. Він написав 11,3%, і лише 2 із 1 000 перемішувань сягнули цього: приблизно кожна дев'ята рекомендація надходить від цих 49 акаунтів, тоді як випадок дає одну з тринадцяти, тобто близько 50 зайвих згадок із 1 471.

Концентрація розподілена нерівно: два субредіти перевищують випадковий рівень, r/chefknives — 14,9% проти 7,7%, r/knifeclub — 12,4% проти 7,3%, тоді як найбільший r/knives тримається в межах половини відсоткового пункту від випадку. Те саме повторюється за брендами: бренд кухарських ножів під кодом B003 отримує 31,2% порад від «хвоста» проти очікуваних 8,0%, тобто вчетверо більше за випадок, а B004 — 26,1% проти 8,2%. Бренди закодовано, бо концентрація сама по собі не доводить, що хтось платив.

Що показали повні історії

Відже також завантажив повні історії Reddit для 23 акаунтів «хвоста», пов'язаних із трьома брендами з сигналом, і для 23 акаунтів порівняння. Вісім історій «хвоста» й сім історій порівняння були приховані, заблоковані або видалені. Серед решти медіанний вік акаунта становив 4,5 роки в обох групах. Лише 3% коментарів «хвоста» припадали на шість ножових субредітів проти 10% у групі порівняння.

За всю історію «хвіст» згадував сім ножових брендів, а не один, що, за словами Відже, не схоже на «прогрітий» акаунт з єдиною метою. Він перевірив вісім брендів і шість субредітів, тож один-два рядки можуть виглядати незвично через випадок; ні регулярний вираз для купувальних тредів, ні розмітник брендів не звірено з розміченими вручну вибірками; а дослідження охоплює шість субредітів, а не весь Reddit. Його практична порада: якщо рекомендація надходить від незнайомого акаунта, перевірте, чи згадував він колись інший бренд.