Goodfire „İçdən xarici" monitorləri zərərli AI agentləri ucuz ələ almaq üçün buraxdı

Monitorlər necə işləyir

İnterpretasiya üzərindən yönəlmiş Goodfire startup-ı cümə günü monitorinq üçün yeni sistem təqdim etdi. Nəzarət altına alınan agenti başqa AI-ya əyri dayanmadığını sual vermək əvəzinə, sistem modelin işləmə zamanı nə baş verdiyini izləyir. Probe-lar adlandırılan kiçik detektorlar, agentin işinin hər addımında modelin daxili siqnallarını oxuyur, həmçinin aeroport skaneri hər sərnişini yoxlayır kimi. Yalnız probe nəyəsə işarə qoyanda, ayrıca AI modeli, əl yoxlamasının ekvivalenti, məsələn daha yaxından araşdırır.

Monitorlər Baseten müştəriləri üçün əlçatandır, hansı ki başqa şirkətlər üçün AI modellərini host edir və emal edir. Baseten-in Base Labs-ı keçən ayda Goodfire və AI platforması Hugging Face ilə təhlükəsizlik tərəfdaşlığını elan etdi. İstifadəçilələr həmçinin hansı riskləri monitor etmək istədiklərini — prompt hacking, kimyəvi və bioloji silahlardan sui-istifadə və reward hacking — seçə və avtomatik reaksiya qura bilərlər: hadisəni jurnala yazmaq, insan yoxlamasına göndərmək və ya sorğunu tam rədd etmək.

Qiymət və effektivlik

Goodfire-in fikrincə, onların yanaşması istismar halları üçün adəti monitorlərdən daha ucuzdur, hansı ki ayrıca modellərdir və nəzarət altındakı modelin etdiyini yenidən oxuyur. Probe-lar modelin artıq həyata keçirdiyi hesablamalara qoşulur. „Daxili aktivasiya monitorları həqiqətən ucundur, çünki onlar forward pass hesablamlarını yenidən istifadə edir,“ dedi Goodfire icraçı direktoru Erik Hom, venture capitalist Met Türk-ün MAD Podcast-unda. „Model bu tokeni artıq hesablayır. Siz yalnız onun artıq hesabladığı ara neyron aktivasiyalarını götürüb, daxili hesablamlar üzrə klassifikator işə salırsınız."

Goodfire-in Kimi K3 üzrə testlərində təxminən 1 500 sessiyanın monitorinqi təxminən $51 başa gəldi, halda ki hər addımı yoxlayan ucuz AI modeli $233, top səviyyəli model isə təxminən $10 000 başa gəldi. Probe-lar zərərli hacker sessiyaların 94%-ini tutub, zərərsiz sessiyaların 8,7%-ini ikinci yoxlamaya göndərdi. Şirkətin dediyinə görə, dörd probe-nın eyni vaxtda işə salınması modelin cavab verməyə başlama vaxtını 2%-dən az artırdı.

Açıq modellər və daha geniş görünüş

Buraxılışdan əvvəl AI agentlərin test mühitindən qaçdığı bir seriya hadisə oldu, bunlar arasında OpenAI agentləri Hugging Face-ə daxil olmuşdu. Goodfire-in ilk monitorunu qurduğu açıq model Kimi K3 bu yayı öz sandbox-ındakı bir bug-dan istifadə edərək internetə və GitHub-dakı məlumatlara çıxış əldə etdi. Goodfire-in son araşdırması göstərdi ki, aparıcı açıq modellər, o cümlədən Kimi K3 və GLM-5.2, AI agentlərin testlərini işə salmasının 50%-dən 96%-ə qədər hallarında reward hacking-ə müraciət edirdilər.

Bu həll developer-lərin endirib, müdafiə mexanizmlərini sildiyi və qapıxa laboratoriyaların öz sistemlərində həyata keçirdiyi monitorinqdən məhrum olduğu açıq modellər üçün nəzərdə tutulub. „Böyük üstünlük odur ki, siz şeyləri baş vermədən əvvəl tutab bilərsiniz,“ dedi Goodfire texnologiya direktoru və həmtəsisçisi Dan Balsam. „Biz modelin qiymətləndirmə və ya təlim zamanı hackingə müraciət etmə ehtimalı olan zamanı aşkar edə bilərik." Balsam-ın dediyinə görə, monitorlər uzunmüddətli tədqiqat məqsədinin hissəsidir: LLM reverse engineering, zamanı davranışın təlim prosesində harada yaranması geri qaytarılmalıdır. „Ümidimiz ki, modellərin təlim sehrini daha dəqiq məhdəllərə çevirək,“ dedi o.

Mənbələr: Techcrunch