מס הטוקנייזר: מדוע משתמשי בינה מלאכותית שאינם דוברי אנגלית משלמים יותר על טוקנים

מחקר שפורסם בחודש שעבר על ידי הקואליציה לשוויון לשוני בחקר הבינה המלאכותית מצא שמודלי בינה מלאכותית עשויים לדרוש טוקנים רבים בהרבה בחלק מהשפות מאשר באחרות, מה שיוצר את מה שהחוקרים מכנים מס טוקנייזר סמוי. ההשפעה הזו עלולה לייקר את הבינה המלאכותית עבור מי שמשתמשים בשפות פחות נפוצות, במיוחד כשהנוכחות המקוונת שלהן קטנה יותר. טוקנים הם יחידות הטקסט או הנתונים שהמודלים מעבדים.

איך מספר הטוקנים משתנה משפה לשפה

הטוקנייזרים מפרקים טקסט גולמי, תמונות או אודיו לטוקנים. בדוגמה אחת פוצל משפט באנגלית למילים מזוהות, ואילו אותו משפט במלאיאלאם פוצל לכמה שברים לכל מילה, בלי התחשבות בתווים מרובי בייטים. גם בקרב 20 השפות הפופולריות ביותר באינטרנט מצא המחקר פער בשימוש בטוקנים: היקרה שבהן השתמשה בפי 1.5 עד 5 יותר טוקנים מהזולה ביותר. כשהקבוצה הורחבה ל-200 שפות גדל פער עלות הטוקנים במודל אחד פי 17. לפי המחקר, סטארט-אפ בבנגלורו עשוי לשלם תוספת על כל פרומפט ותשובה, בעוד מתחרהו באוסטין אינו משלם.

העלות אינה העונש היחיד

עוד עולה מהמחקר שמספר טוקנים גבוה יותר מתורגם גם להשהיה ארוכה יותר ולקיבולת הקשר אפקטיבית קטנה יותר. לפי פרטיאוש צ'אודהורי, ממייסדי Activate AI, קרן ההון סיכון הראשונה בהודו שמוקדשת כולה לבינה מלאכותית, בשפות שאינן אנגלית נשאר פחות מקום למסמכים או להיסטוריית שיחה, ונדרשת יותר עבודה כדי לייצר תשובה. הוא השווה את הבעיה למורה ששומר את הטעויות וההסברים הקודמים של התלמיד: אם ההיסטוריה הזו צורכת את חלון ההקשר מהר בהרבה בשפה אחת, החסרון מגיע גם לאיכות השירות. לפי המחקר, העונשים האלה מכים הכי חזק במקומות שבהם כוח המחשוב והקישוריות כבר מוגבלים, ואי השוויון בין הטוקנייזרים הוא מגבלה על מי שיכול להשתתף בכלכלת הבינה המלאכותית.

כתב, נתונים ותכנון, לכולם יש משקל

נדירותה של שפה אינה הגורם היחיד לשימוש בטוקנים; לכתב יש תפקיד גדול. אסטורית, שיש לה מספר קטן יחסית של דוברים ואין לה נתונים ב-Common Crawl, נהנית מיתרון הכתב הלטיני ומייצוג של שפות רומאניות קרובות כמו איטלקית. שפות הנכתבות בכתבים שהטוקנייזרים ראו רק לעיתים רחוקות, ובהן בורמזית, טיבטית, תיפינאג, חמרית, לאו ואול צ'יקי, היו בעמדת הנחיתות הגדולה ביותר באופן עקבי כמעט בכל המודלים בניתוח. דהימנת' רדי, מנכ"ל Maya Research, אמר שטוקנייזרים רבים עדיין מותאמים באופן לא פרופורציונלי לאנגלית ולשפות עתירות משאבים אחרות, ושהבעיה הבסיסית היא היעדר נתונים דיגיטליים באיכות גבוהה. אחת הדרכים לשפר את עיבוד השפה היא לשפר את הנתונים הבסיסיים. ראול ננאוואטי, ממייסדי ומנכ"ל Navana.ai, הצביע על RESPIN, יוזמה משותפת עם המכון ההודי למדעים במימון קרן גייטס, שאספה טקסט מדוברי שפת אם של 38 דיאלקטים יחד עם דיבור נקרא.

סגירת הפער

רדי הזהיר שנתוני אימון טובים יותר לבדם אינם מתקנים את הטוקנייזר. מחירי הטוקנים יורדים במהירות, ולכן ההשפעה הישירה על העלות אמורה להיות פחות חמורה עם הזמן, ונתונים רב לשוניים וסינתטיים טובים יותר אמורים לשפר את איכות המודל. אבל תיקון אמיתי של פער הטוקניזציה עדיין ידרוש ממעבדות לתכנן בכוונה טוקנייזרים עתידיים שיתמודדו טוב יותר עם השפות והכתבים האלה. צ'אודהורי אמר שיעילות לשונית צריכה להיות דרישת מוצר לצד דיוק, מהירות ואמינות. הוא אמר ששוויון מושלם אולי אינו ריאלי, אבל פערים גדולים ומתמשכים צריכים לחייב הסבר ותוכנית שיפור, וביקש מכל מעבדה גדולה לפרסם כרטיס ציונים לפי שפה שמראה מה עולה להשלים משימות דומות בהצלחה, ולהתחייב לשיפורים מדידים בשפות שבהן היא נותנת את השירות הגרוע ביותר.

מקורות: Rest Of World · Techmeme