Боти ШІ масово атакують університетські бібліотеки й загрожують публічному доступу

Сайти академічних бібліотек сповільнюються або падають через ботів для збору даних, яких використовують компанії ШІ та треті сторони для збору контенту для великих мовних моделей. Співробітники бібліотек кажуть, що трафік порушує доступ для студентів, дослідників і громадськості, а експерти попереджають, що проблема погіршується. Один університет повідомив про понад 11 000 пошуків фінської музики з тисяч адрес за один день.

Боти націлюються на відкриті колекції

Бібліотеки, музеї та інші установи культурної спадщини є головними мішенями, бо вони зберігають якісну перевірену інформацію, яка загалом не прихована за платними стінами чи входом. Працівники Університету штату Сан-Хосе та Університету Вікторії кажуть, що боти намагаються отримати доступ до архівів, які містять академічні, історичні та урядові документи. Ботів використовують як компанії ШІ, так і треті сторони, щоб переглядати вебсайти та отримувати дані, часто для наповнення моделей на кшталт Claude, Gemini і ChatGPT.

Хороші боти і погані боти

Ерік Геллман з Project Gutenberg каже, що пошукові системи та архівні сайти використовують ботів, які дотримуються robots.txt, добровільних інструкцій, що допомагають їм не заважати роботі сайту. Він каже, що боти ШІ для збору даних іноді ігнорують ці правила й можуть запитувати тисячі документів на секунду в усіх доступних форматах. Оскільки одна компанія або ферма ботів може працювати з тисяч IP-адрес, Геллман каже, що блокування окремих адрес більше не є корисним.

Бібліотеки зважують бар'єри доступу

Деякі бібліотеки встановили перевірки CAPTCHA або інші системи верифікації, але такі заходи можуть впливати і на хороших ботів. Деякі почали вимагати облікові дані для входу, крок, якого, за словами співробітників, вони хочуть уникнути, бо він створює перешкоди для доступу людей до матеріалів, які, на їхню думку, мають бути легкодоступними. Майкл Вайнберг з GLAM-E каже, що трафік ботів тепер знижує стимул для установ робити частини своїх колекцій доступними онлайн.

Компанії ШІ та сигнали відмови

Великі компанії ШІ стверджували, що збір публічно доступних даних є допустимим відповідно до добросовісного використання й у суспільному інтересі. Anthropic, OpenAI, Google і Microsoft нещодавно висловили підтримку дотримання єдиного стандартизованого сигналу відмови у файлі robots.txt сайту, який міг би блокувати їхні веб-сканери. Дотримання буде добровільним, а угода не охоплює проблемних ботів від компаній третіх сторін і менших стартапів ШІ.

Джерела: cbc.ca