AI-скрапери споживають близько 20% потужностей git.kernel.org

14 ядер постійно рендерять git-коміти

Костянтин Рябицев, який підтримує інфраструктуру kernel.org, опублікував конкретні цифри про те, скільки коштують AI-скрапери для git.kernel.org. На п'яти географічно розподілених вузлах 14 ядер CPU у будь-який момент зайняті виключно рендерингом git-комітів у HTML. За його формулюванням, сайт витрачає більше циклів CPU на видачу результатів скраперам, ніж на всі інші види легітимного доступу разом, включно з git-клонами.

Це не пік навантаження, а постійне «фонове випромінювання»: частка потужності, яка виробляє результат, корисний лише для однієї мети — годування навчальної моделі.

Чому kernel.org вартий уваги скраперів

Розробка Linux відбувається відкрито. І git-репозиторії, і архіви розсилок можна клонувати, а їхній вміст гарантовано вільний від машинно-генерованого тексту — надзвичайно чистий корпус для навчання. Рябицев порівнює навчання моделі на виводі моделі з «цифровою пріонною хворобою», тому архів, уся історія якого передує великим мовним моделям, особливо цінний.

Попри це скрапери ігнорують ефективний шлях. Замість клонування linux.git — близько 1,48 млн комітів і приблизно 922 форки на сервері — вони рендерять кожен коміт окремою HTML-сторінкою й розбирають результат. Оскільки cgit також віддає патчі, прості рендери та diff між довільними комітами, одна форка породжує астрономічну кількість валідних URL, а з сотнями форок адресний простір сягає мільярдів.

Від fail2ban до proof-of-work

Блокування почалося з fail2ban і перевірки user-agent, перейшло до банів за IP, а потім за цілими ASN, коли боти почали видавати себе за звичайні браузери, і остаточно зазнало краху, коли кроулери прийшли з мільйонів резидентних і мобільних адрес короткими сплесками — це наслідок проксі-SDK, вбудованих у побутові пристрої, зокрема смарт-телевізори.

Наступним рубежем став Anubis — proof-of-work виклик, який вимагає від клієнта обчислити хеш із заданою кількістю провідних нулів. Він одразу спрацював, але за кілька місяців боти вже розв'язували складність 4; підвищення до 5 купило ще кілька місяців, і тепер вони розв'язують і це. Платять легітимні користувачі: кілька секунд обчислень на телефоні, який від цього помітно нагрівається.

Легітимний трафік — близько 2%

Сьогодні git.kernel.org отримує близько шести мільйонів запитів на добу з вимогою показати випадкові коміти. Приблизно 66% відсікає виклик Anubis, а 33% розв'язують математику й потрапляють на основний сайт. За щедрих припущень легітимні запити становлять лише близько 2% трафіку. З 90 ядер на п'яти вузлах 14–16 рендерять коміти для скраперів — у середньому близько 20% усієї потужності, хоча реальний графік приходить хвилями й значно гостріший за рівну лінію.

Відповідь проєкту — вимкнути частину функцій, щоб зменшити кількість URL, доступних для скрапінгу, та обмежити дорогі в обслуговуванні операції, тож анонімні відвідувачі мають очікувати втрати частини функціональності. Усі дані й надалі можна буде завантажити на запит — просто з більшою кількістю кроків. Рябицев зазначає, що простого рішення немає, поки з'являються нові постачальники моделей і монетизовані проксі-мережі.