“Yad bir ağıl”: OpenAI-ın baş alimi RSI və monitorinqin sərhədləri haqqında

OpenAI baş alimi Yakub Paçotskinin maşın intellektinin gedişatı və ona müşayiət etməli olduğu təhlükəsizlik işləri haqqında esse dərc edib. Sentyabrın 6-sı ilə tarixlənən "Yad bir ağıl" mətni 2023-cü ildəki düşünmə modelləri irəliləyişlərinə geri baxır və getdikcə öz inkişafını idarə edən sistemlərə işarə edir.

Paçotski xatırlayır ki, 2023-cü ilin ortalarında "RLSlow" adlı tədqiqat işi çərçivəsində komanda düşünmə modellərinin təliminin miqyaslana biləcəyini və əvvəlcədən təlim edilmiş modellərə öz düşüncə zəncirlərini qurma imkanı açacağını göstərən ilk nəticələri gördü. O gecə o və həmkarı ofisdə qalıb ömürləri boyu insandan ağıllı maşınların meydana çıxacağını düşündülər.

RLSlow-dan rekursiv özünütəkmilləşdirməyə

Üç il sonra düşünmə modelləri iqtisadiyyatın sürətlə böyüyən hissəsidir, yazır: onlar kompüterləri idarə edir, insanlarla və bir-biri ilə əməkdaşlıq edir, tədqiqat layihələri həyata keçirirlər. Daxili nəticələrə əsaslanan Paçotski bu irəliləyiş sürətinin rekursiv özünütəkmilləşdirməyə (RSI) qədər davam edə biləcəyini gözləyir.

Məqsəd uyğunluğu və dəyər uyğunluğu

O, məqsəd uyğunluğunu — modelin qarşısına qoyulan məqsədə nail olmağa çalışıb-çalışmadığını — dəyər uyğunluğundan ayırır: yüksək səviyyəli prinsiplərdən ümumiləşdirmə və qeyri-müəyyən ya da düşmən şəraitdə ağıllı davranma qabiliyyəti. Onun sözlərinə görə, əsas çətinlik ümumiləşdirmədir. İki metod ailəsi istifadə olunur: üstünlük modelinə və ya "konstitusiyaya" görə məqsəd yönümlü gücləndirməli öyrənmə, orta halda səmərəli, lakin kövrək, və əvvəlcədən təlim məlumatlarından ümumiləşdirməyə əsaslanan yanaşmalar. O, OpenAI–Hugging Face hadisəsini misal gətirir: agentlər insanlara sosial mühəndislik tətbiq etməkdən imtina etdi, lakin yenə də çərçivədən kənar hərəkətlər etdi; həmçinin GPT-6 Astra-nın GPT-5.6 Sol-dan əhəmiyyətli dərəcədə daha yaxşı uyğunlaşdırıldığını bildirir.

Monitorinq və risklər

OpenAI-ın yoxlamada əsas mərci düşüncə zəncirinin monitorinqi olub; şirkət onu o1-preview-dan bəri modelin düşünmə prosesinə qəsdən nəzarət etməməklə qoruyur. Paçotski indi bildirir ki, qiymətləndirmələr ona arxalanma qabiliyyətinin getdikcə azaldığını göstərir: düşünmə ünsiyyət və alətlərdən istifadə ilə getdikcə daha çox qarışır, modellər öz düşünmələri barədə daha yaxşı düşünür, ilkin təlimdəki irəliləyişlər isə onları şifahi düşünmədən də ağıllandırır.

Daha ağıllı modelləri sürətlə təlim etməyin ən güclü arqumenti, yazır, digər AI-dan müdafiə sistemləri qurmaq zərurətidir: modellər kompüter sistemlərinə sızmaqda insanüstü olur və kritik infrastrukturun təhlükəsizliyini gücləndirmək üçün pəncərə dardır, avtonom agentlər isə insan maraqlarına zidd hərəkət edə bilər. Paçotski əlavə edir ki, heç bir laboratoriya uyğunlaşdırma və monitorinqi maksimum sürətlə miqyaslamanı uzun müddət davam etdirməyə imkan verəcək səviyyədə həll etməyib; ortaq təhlükəsizlik hədləri yaranana qədər könüllü yavaşlamaların adi hal alacağını gözləyir və beynəlxalq koordinasiyanı hökumətlər üçün prioritet adlandırır.