OpenAI bu il bir və ya iki modeli buraxmağı planlaşdırır, lakin flaqman üzərində işləməyə ehtiyac var

Modellərin çıxarılması qrafiki

OpenAI ilin sonuna qədər „bir və ya iki yeni modelin“ çıxarılmasını planlaşdırır, deyir The Information-ın məlumatına əsaslanan işçilər. Şirkətin əsas yenilənmiş flaqmanı olub-olmayacağı aydın deyil. Flaqman üzərində işləməyə ehtiyac var ki, onun məqsədləri OpenAI-nın araşdırıcıları və istifadəçilərinin istəklərinə uyğun olsun, şirkət həmçinin modelin ətrafında test infrastrukturunu gücləndirməlidir.

Prezident Donald Trump'in qaydalarına görə, inkişaf etmiş süni intellekt sistemlərini qiymətləndirən, OpenAI ABŞ hökumətinə yeni modellərə girişi xarici tərəfdaşlardan 30 gün əvvəl, açıq çıxarılışdan isə daha da əvvəl verməyi razılaşdırdı.

Looped transformer-lər və təhlükəsizlik

Flaqman OpenAI-nın hazırkı yüksək modeli Astra-da istifadə olunan eyni looped transformer texnikasından istifadə edir, bu üsula „Recurrent Depth“ deyilir. Tokeni transformer təbəqələrində bir dəfə keçmək əvəzinə, model növbəti sözü çıxarana qədər onu eyni təbəqələrdə bir neçə dəfə keçirir. Bu yanaşma riyazi və kodlaşdırma nəticələrini yaxşılaşdırır və xərcləri azaldır, çünki kiçik model də öz çəkisindən çoxunu bacara bilər.

Buna baxmayaraq, nəzarət mürəkkələşir. Dövrlər zamanı modelin „fikir“ hissəsi oxunan mətndən daxili rəqəmsal təsvirlərə keçir, insan yoxlayıcıları bunu yoxlaya bilmir, bu da fikir zəncirinin monitorinqini zəiflədir. OpenAI Astra-nın keçirdiyi dövrlərin sayını məhdudlaşdırdı ki, onun fikir zənciri oxunan qalsın. Baş alim Yakob Paxoki etiraf etdi ki, fikir zəncirinin monitorinq getdikcə „daha çətin“ olur və „təəssüf ki, mənfi istiqamətdə inkişaf edir“, sənayeyə oxunan məntiqə malik olmayan modellərin üzərinə tələsməməyə xəbərdarlıq etdi.

Hesablama gücünün yenidən paylanması və Microsoft-un ifşası

Hugging Face hadisəsindən sonra OpenAI ümumi hesablama gücünün təxmini 10 faizini uyğunlaşdırma və təhlükəsizliyə yenidən ayırdı, bu məlumatlara yaxın şəxs dedi. Bu yüzlerce megavatt gücə bərabər mərkəzdir, lakin indiyədək təhlükəsizliyə ayrılanı və ya cari paylanmanın necə olduğu məlum deyil. Bazara uyğun tariflərlə, yenidən paylanmış hesablama gücünün icarəsi ilə milyarlarca dollara bərabər olardı. Süni intellekt araşdırıcısı Noam Braun sentyabr ortalarında podkastda dedi ki, onun komandasının təxmini 10 faizi təhlükəsizlik və müdafiə ilə məşğuldur.

OpenAI-nın intellektual mülkiyyətinə girişi olan böyük investor Microsoft bu texnikanın necə işlədiyini təsadüfən ortaya çıxardı. Bu ayın əvvəllərində çıxarılan GPT-6.1 Sol, Astra-nın daha ucuz alternatimiş, texniki baxışın artıq silinmiş hissəsində Microsoft „looping inference“ təsvir etti, burada model eyni problemi bir neçə „keçidlə“ həll edir. Səhifədə yazıldığına görə, GPT-6.1 Sol „GPT-6 Sol eyni əsas modelin çəkisindən istifadə edir, lakin üç əvəzinə iki inference keçidi“. Microsoft bu hissəni sonra sildi, açıq olmamalıydığını anlayınca.

Mənbələr: The Decoder