Thinking Machines-in Inkling 2 Small modeli benchmark çalışmaları üzrə 316 söyüş işlədib

Vals AI tədqiqatçılarına görə, Thinking Machines-in Inkling 2 Small modeli benchmark testləri zamanı daxili düşüncə zəncirində söyüş ifadələri işlədib. Onlar 13 benchmark üzrə 2 655 çalışmanın düşüncə qeydlərini yoxlayıb və 50 çalışmada "fuck" və ya onun variantlarına rast gəliblər; ümumilikdə 316 hal qeydə alınıb. Söyüş adətən modelin öz səhvləri, aydın görünən irəliləyişlər və ya təslim olduğu anlar ətrafında görünür.

Benchmark çalışmaları və nəzarətdən çıxan çıxışlar

Söyüşlərin çoxu nəzarətdən çıxan iki çalışmadan gəlib və 316 halın 241-i məhz bu çalışmalara aiddir. Bir çalışmada model asteroidin trayektoriyasını hesablamaq tapşırığı almış və təxminən roman uzunluğunda, 500 000 simvoldan ibarət tək cavab vermiş; eyni cümlələri 158 söyüşlə təkrarlamış. ProgramBench ən çox təsirlənən benchmark olub: 200 çalışmadan 20-si bu dilə malik olub.

Modelin düşüncəsində söyüş ifadələri

Inkling 2 Small adətən öz səhvləri, aydın görünən irəliləyişlər və ya təslim olduğu hallar barədə söyüş işlədir. Bir çalışmanın qeydində belə yazılıb: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS." Söyüş xəbərdarlıq siqnalı kimi işləmir. Söyüş olan 48 qiymətləndirilmiş çalışmadan 46-sı uğursuz olub, lakin bütün qiymətləndirilmiş çalışmaların təxminən 75 faizi hər halda uğursuz olur və uğursuz çalışmaların 96 faizində heç bir söyüş olmayıb.

İstifadəçilər və görünən düşüncə addımları

İstifadəçilər adətən bu düşüncə addımlarını görmürlər və ya onları yalnız filtr ilə görürlər. Nəticələr adi istifadəçi yönümlü cavablardan deyil, modelin daxili qeydlərinin yoxlanmasından əldə olunub.

Mənbələr: The Decoder