Մեկ տարվա պայքար սքրեյփերների դեմ 1,5 միլիոն էջանոց կայքում

Բարեգործ-դոնորների PatronView տվյալների բազան, որը պարունակում է շուրջ 1,5 միլիոն անհատական պրոֆիլային էջ, հրապարակել է մանրամասն հաշվետվություն ավտոմատ սքրեյփինգի դեմ մեկ տարվա պայքարի մասին։ Կայքի շահագործողի խոսքով՝ գրառման հրապարակման շաբաթում սերվերը պատասխանել է 2,5 միլիոն արտաքին հարցումների և մատուցել 1,28 միլիոն ամբողջական էջ, մինչդեռ վերլուծությունը գրանցել է ընդամենը 5 977 մարդկային դիտում. դա մոտավորապես 214 բոտային բեռնում է յուրաքանչյուր իրական այցի դիմաց և ընդհանուր երթևեկության կես տոկոսից պակաս։

Չինաստանից եկած ալիքը

Ամենածանր դեպքը տեղի է ունեցել ապրիլի 22-ին. կայքը մեկ օրում ստացել է 3,6 միլիոն հարցում 361 844 եզակի IP հասցեից, որոնք գրեթե բոլորը Չինաստանում էին։ Cloudflare-ի Managed Challenge-ը մոտ տասը ժամում կլանել է դրանցից 1,18 միլիոնը, սակայն զգալի մասը անցել է։ Ապրիլի 23-ին շահագործողը ամբողջ երկիրը արգելափակել է edge մակարդակում, ապա նմանատիպ ալիքներից հետո ավելացրել Վիետնամն ու Սինգապուրը։ Կայքի իրական որոնողական երթևեկության 95,9%-ը ԱՄՆ-ից է, 1,3%-ը՝ Կանադայից։

Հիմնական չափիչը՝ սքանավորված էջեր մեկ ուղղորդված այցելուի հաշվով

Գրառումը ներկայացնում է չափիչ, որը հեղինակն այժմ կիրառում է յուրաքանչյուր որոշման մեջ. քանի էջ է կարդում սքաները յուրաքանչյուր ուղղորդված այցելուի դիմաց։ Google-ին անհրաժեշտ է 46 սքանավորում մեկ այցելուի համար, ինչը հեղինակը համարում է արդար։ Հունիսին Anthropic-ի Claude-SearchBot-ը մեկ շաբաթում պահանջել է 420 680 էջ և բերել 12 մարդ այցելու՝ 35 000-ը 1-ի հարաբերակցությամբ, մինչդեռ Cloudflare-ը Anthropic-ի սքաներների համար հայտնում է մոտ 3 000-ը 1-ի։ Բոտը ծախսել է 4,63 ԳԲ թրաֆիկ, իսկ բերված մարդիկ՝ 175 ԿԲ։ Արգելափակումը սքաները օրական 60 000 հարցումից իջեցրել է մոտ 25-ի։ Այդ ընթացքում Amazon-ի Amzn-SearchBot-ը դարձել էր կայքի ամենամեծ սքաները՝ օրական մոտ 117 000 հարցումով, և արգելափակվել է հրապարակումից երկու օր առաջ։

Տվյալների կենտրոններ, տնային կապեր և արդյունքներ

Հուլիսին երթևեկությունը փոխել է ձևը. AWS-ի, ապա Azure-ի վրա աշխատող headless Chrome դիտարկիչների հաստատուն ալիք, իսկ բնակելի պրոքսի ցանցերը հարցումները տանում էին սովորական տնային կապերով՝ ներկայանալով որպես 2023 թվականի դիտարկիչներ։ Հակաքայլերը միտումնավոր կոպիտ են՝ ստուգում բոլոր մայրցամաքների համար, բացի Հյուսիսային Ամերիկայից, ստուգում 46 տվյալների կենտրոնների ASN-ների և հնացած դիտարկիչների տարբերակների համար։ Վերջին 48 ժամում Cloudflare-ը տվել է 106 437 ստուգում, և լուծվել է միայն 252-ը՝ 0,24%։ Վերջնական կանոնների գործարկումից հետո առաջին 24 ժամում արգելափակվել է 46 729 հարցում, որոնցից 43 150-ը՝ Amazon-ի սքաներից։ Կայքը աշխատում է Cloudflare Workers-ի վրա՝ D1-ով և KV-ով. սովորական հաշիվը ամսական մոտ 90 դոլար է, և օգտագործման 99%-ը բոտերինն է։ Հեղինակի եզրակացությունը՝ սքրեյփինգը դարձել է տնտեսական խնդիր, և լուծումը նա տեսնում է «pay-per-crawl» մոդելում, իսկ աշխատանքային կանոնը պարզ է՝ սքաները, որը երբեք այցելու չի բերում, արգելափակվում է։