Heretic מסיר סירובים ממודלי שפה בלי אימון נוסף

מה עושה Heretic

Heretic היא תוכנה חופשית בקוד פתוח שמסירה צנזורה — מה שמפתחיה מכנים „יישור בטיחותי“ — ממודלי שפה מבוססי טרנספורמר בלי אימון נוסף יקר. את הפרויקט מפרסם פיליפ עמנואל ויידמן יחד עם תורמים, ואתר הפרויקט מציג את המטרה בפשטות: להבטיח שהמודל תמיד יבצע את הוראות המשתמש.

הכלי משלב מימוש מתקדם של אבלציה כיוונית, הידועה כאבליטרציה, עם מייעל פרמטרים המבוסס על Optuna. השיטה מאתרת את הכיוון הפנימי שגורם למודל לסרב לבקשה ומסירה אותו — גישה שתוארה במחקר של ארדיטי ועמיתיו ב-2024 והתפתחה בעבודות מאוחרות יותר.

איך זה פועל

כדי להפעיל את Heretic דרושים כרטיס גרפי ושורת פקודה בלבד. לאחר שלב התקנה אחד מעביר המשתמש מזהה מודל מ-Hugging Face — בתיעוד מופיע Qwen/Qwen3.5-4B — והתוכנה עושה את השאר: היא בודקת את החומרה כדי לבחור גודל אצווה, טוענת 400 בקשות „לא מזיקות“ ו-400 בקשות „מזיקות“ ממאגרים ציבוריים, מודדת באיזו תדירות המודל מסרב, ואז מחפשת את פרמטרי האבלציה שמדכאים את הסירובים האלה.

דרישות החומרה צנועות לפי הסטנדרטים של היום. התיעוד מעריך כ-2.5 ג‘יגה-בייט של זיכרון גרפי לכל מיליארד פרמטרים, כך שמודל בן 4 מיליארד פרמטרים נכנס לכרטיס של כ-10 ג‘יגה-בייט, וכימות של 4 סיביות באמצעות bitsandbytes מקטין את צריכת הזיכרון בכ-70%. נדרשים Python 3.10 ומעלה ו-PyTorch 2.2 ומעלה, והתמיכה כוללת כרטיסים של Nvidia וגם של AMD. קובץ הגדרות ואפשרויות שורת פקודה חושפים כמעט כל שלב בתהליך.

תוצאות ואימוץ

הפרויקט מפרסם מדידות עבור gemma-3-12b-it: המודל המקורי סירב ל-97 מתוך 100 בקשות „מזיקות“, ואילו גרסת Heretic סירבה לשלוש — תוצאה שמשתווה לאבליטרציות שנעשו ביד, אך עם סטייה קטנה בהרבה מהמודל המקורי. ציון ה-KL שלה הוא 0.16 לעומת 1.04 ו-0.45 בשתי אבליטרציות פופולריות של אותו מודל.

Heretic תומך ברוב המודלים הצפופים, במודלים מולטימודליים רבים, בכמה ארכיטקטורות mixture-of-experts ובפתרונות היברידיים כמו Qwen3.5, אם כי מודלי state-space טהורים עדיין אינם מכוסים. לפי המפתחים, הקהילה פרסמה ב-Hugging Face יותר מ-5,000 מודלים מנוקים שנוצרו בכלי הזה. Heretic מופץ תחת רישיון GNU AGPL v3, וארכיוני גרסאות חתומים זמינים דרך GitHub, מראה ב-Codeberg, Internet Archive ו-IPFS.