Մատյանում crawler-ի անունը միայն պնդում է. Google Cloud-ի մեկ ցանցից եկած հարցումների 38%-ը .env ֆայլեր էր ուզում

Փոքր կայքի 82-ժամյա մատյանի վերլուծությունը ցույց է տալիս, որ user agent-ի մեջ գրված crawler-ի անունը չի ապացուցում, թե ով է ուղարկել հարցումը։ dev.to-ում հրապարակված զեկույցում կայքի տեր Reese Calder-ը համեմատում է հարցման մեջ նշված բոտին այն ցանցի հետ, որտեղից հարցումն իրականում եկել է։

Ինչ է ստուգվել

Կայքը փոքր է՝ մեկ Cloudflare Worker, որը սպասարկում է երկու հոսթանուն։ Սեպտեմբերի 23-ից Worker-ը պահում է նաև ASN-ը, որը Cloudflare-ը փոխանցում է request.cf.asn դաշտում։ Դիտարկման պատուհանը ընդգրկում է սեպտեմբերի 23-ի 03:02-ից մինչև սեպտեմբերի 26-ի 13:00-ը (UTC)՝ 82 ժամ և 18 846 հարցում։

Յուրաքանչյուր հարցման համար գրանցվել է երեք բան՝ user agent-ի մեջ նշված crawler-ի անունը (հայտնի crawler-ների և fetcher-ների 22 անուն), ցանցը և այն, թե արդյոք հարցումը գաղտնի կամ կոնֆիգուրացիայի ֆայլ էր ուզում (.env, .git, id_rsa, wp-config և նմանատիպ)։ Փաստաթղթավորված ոչ մի crawler նման ֆայլեր չի ուզում։

Ինչ պարզվեց

18 846 հարցումներից 5 180-ը (27,5%) եկել է մեկ ցանցից՝ AS396982-ից, այսինքն Google Cloud-ից։ Դրանցից 2 696-ը (52%) հենց այդպիսի ֆայլ էր ուզում, մինչդեռ մնացած բոլոր ցանցերը միասին 13 666 հարցումից ուղարկել են ընդամենը 296 նման հարցում։ Crawler-ի անուն կրող 1 395 հարցում եկել է հենց այդ ցանցից, և դրանցից 533-ը (38,2%) գաղտնի կամ կոնֆիգուրացիայի ֆայլ էր ուզում։

Այլ ցանցերից crawler-ի անունով եկած 867 հարցումներից ոչ մեկը նման ֆայլ չի ուզել, և այդ 867-ից 754-ը (87%) եկել է այն ցանցից, որը համընկնում է crawler-ի օպերատորի հետ՝ օրինակ՝ Applebot-ը Apple-ից, bingbot-ը Microsoft-ից, իսկ ClaudeBot-ը՝ Anthropic-ից։ Յոթ անուն, որոնց թվում Google-Extended-ը (56 հարցում), հայտնվել է միայն այդ մեկ ցանցից։

Ինչու է դա կարևոր

Google-Extended-ը ամենամաքուր օրինակն է։ Google-ի փաստաթղթերի համաձայն՝ այս թոքենը առանձին HTTP user agent տող չունի և օգտագործվում է միայն robots.txt-ում, ուստի այդպիսի հարցումը ինչ-որ մեկի պնդումն է։

Սեպտեմբերի 22-ին հեղինակի մատյանում հինգ տարբեր crawler-ների անուններ ցույց տվեցին 40-45 այց յուրաքանչյուրը, ինչը նման էր մեկ հաճախորդի, որը հերթով փոխում է անունները։ Միայն user agent-ի վրա հիմնված բոտային զեկույցը նման հարցումները հաշվում է որպես crawler-ի այց, իսկ firewall-ի կանոնը, որը համընկնում է միայն user agent տողի հետ, գործում է այն մարդու նկատմամբ, ով ուղարկում է այդ տողը։

Հրապարակումից հետո հեղինակը փոխեց Worker-ը՝ սեպտեմբերի 26-ի 13:27-ից (UTC) crawler-ի անուն նշող և նման ֆայլ ուզող հարցումը դասվում է «other bot» կատեգորիային, իսկ Google-Extended անունով հարցումը նշվում է որպես «spoofed crawler name»։

Սահմանափակումներ

Հեղինակը շեշտում է, որ տվյալները ընդգրկում են մեկ փոքր կայք և 82 ժամ։ Մատյանը չի պահում հաճախորդի IP-ն, ուստի օպերատորների հրապարակած միջակայքերի հետ համեմատություն չի արվել, իսկ օպերատորի սյունակը հեղինակի ենթադրությունն է։ Ֆայլերի թեստը բռնում է միայն այն հարցումները, որոնք իրենք իրենց մատնում են, ուստի 533-ը ստորին սահմանն է։ Google Cloud-ում աշխատում են նաև ազնիվ բոտեր (օրինակ՝ AgenstryBot-ը և ProwlBot-ը), այնպես որ նույն ցանցից եկած 862 հարցումները, որոնք նման ֆայլ չեն ուզել, դեռ ոչինչ չեն ապացուցում։