בוטים של בינה מלאכותית מציפים ספריות אוניברסיטאיות ומאיימים על הגישה הציבורית

אתרי ספריות אקדמיות מאיטים או קורסים בגלל בוטים לגריפת נתונים שבהם משתמשות חברות בינה מלאכותית וחברות צד שלישי כדי לאסוף תוכן עבור מודלי שפה גדולים. צוותי ספריות אומרים שהתעבורה מפריעה לגישה של סטודנטים, חוקרים והציבור, ומומחים מזהירים שהבעיה מחמירה. אוניברסיטה אחת דיווחה על יותר מ-11,000 חיפושים אחרי מוזיקה פינית מאלפי כתובות ביום אחד.

בוטים מכוונים לאוספים פתוחים

ספריות, מוזיאונים ומוסדות אחרים למורשת תרבותית הם יעדים מרכזיים משום שהם מחזיקים במידע איכותי ומאומת שבדרך כלל אינו מוסתר מאחורי חומות תשלום או התחברות. עובדים ב-San Jose State University וב-University of Victoria אומרים שהבוטים מנסים לגשת לארכיונים הכוללים מסמכים אקדמיים, היסטוריים וממשלתיים. הבוטים משמשים גם חברות בינה מלאכותית וגם חברות צד שלישי כדי לסרוק אתרים ולאחזר נתונים, לעיתים קרובות כדי להזין מודלים כמו Claude, Gemini ו-ChatGPT.

בוטים טובים ובוטים רעים

Eric Hellman מ-Project Gutenberg אומר שמנועי חיפוש ואתרי ארכיון משתמשים בבוטים שמכבדים את robots.txt, הוראות וולונטריות שעוזרות להם להימנע מהפרעה לאתר. לדבריו, בוטים לגריפת נתונים של בינה מלאכותית מתעלמים לפעמים מהכללים האלה ויכולים לבקש אלפי מסמכים בשנייה בכל פורמט זמין. משום שחברה אחת או חוות בוטים אחת יכולה לפעול מאלפי כתובות IP, Hellman אומר שחסימת כתובות בודדות אינה מועילה עוד.

ספריות שוקלות חסמי גישה

חלק מהספריות הקימו אתגרי CAPTCHA או מערכות אימות אחרות, אבל האמצעים האלה יכולים להשפיע גם על בוטים טובים. חלקן החלו לדרוש פרטי התחברות, מהלך שצוותים אומרים שהם רוצים להימנע ממנו משום שהוא יוצר חסמים לגישה אנושית לחומר שלדעתם אמור להיות נגיש בקלות. Michael Weinberg מ-GLAM-E אומר שתעבורת בוטים יוצרת כעת תמריץ שלילי למוסדות להנגיש חלקים מהאוספים שלהם באינטרנט.

חברות בינה מלאכותית ואותות ביטול הסכמה

חברות בינה מלאכותית גדולות טענו שגריפת נתונים הזמינים לציבור מותרת לפי שימוש הוגן והיא לטובת הציבור. Anthropic, OpenAI, Google ו-Microsoft הביעו לאחרונה תמיכה בכיבוד אות ביטול הסכמה סטנדרטי יחיד בקובץ robots.txt של אתר שיוכל לחסום את סורקי האינטרנט שלהן. העמידה בכך תהיה וולונטרית, וההסכם משאיר מחוץ לו בוטים בעייתיים של חברות צד שלישי ושל סטארט-אפים קטנים יותר בתחום הבינה המלאכותית.

מקורות: cbc.ca