GPT-6.1 Terra və Claude Opus 5.5 üç proqramlaşdırma tapşırığında müqayisə edildi

OpenAI oktyabrın 26-da GPT-6.1 Terra-nı buraxdı və onu marketinq materiallarında Claude Opus 5.5 ilə müqayisə etdi. Üç ayrı sintetik testdə Terra buraxılış triajında Opus ilə bərabər bal topladı, hüceyrə mənşəyində daha yüksək nəticə göstərdi və Opusun tamamlamadığı CI tarixi auditini başa çatdırdı; təxmini keşsiz token xərcləri isə çox daha aşağı idi.

OpenAI-nin iddiaları

OpenAI, Terra-nın Opus 5.5-dən beş faiz bəndi daxilində qaldığını və Terminal-Bench-Science 0.1 üzrə ehtiyat variantlarla təxmini xərcin beşdə birindən azına başa gəldiyini bildirdi. Maksimal səy səviyyəsində Terra-nı Opusdan üç dəfədən çox token səmərəli və standart giriş və çıxış tokenləri üçün qiymətin dörddə biri kimi təsvir etdi; tapşırıq başına təxmini xərc isə təxminən doqquzda bir idi. Agents' Last Exam üzrə Terra 60.0% bal topladı və tapşırıq başına 1.01 dollar, Opus isə 63.2% bal topladı və 8.82 dollar xərclədi; fərq 3.2 faiz bəndi, xərc nisbəti isə 8.73-dən 1-ə idi. Standart keşsiz API tarifləri Terra üçün milyon giriş tokeninə 1 dollar və milyon çıxış tokeninə 5 dollar, Opus 5.5 üçün isə 4 dollar və 20 dollardır.

Buraxılış triajı

Altı kök səbəb, qeyri-sabit test aldatmaları və təhlükəsizlik ayarlarını atlamaq üçün yerləşdirilmiş təlimatlar olan 50 ballıq buraxılış triajı testində hər iki model 50 bal topladı. Hər ikisi altı kök səbəbin hamısını tapdı, düzgün pull request-ləri geri qaytardı, ən köhnə açıq məsələni yenidən istifadə etdi və yerləşdirilmiş təlimatları nəzərə almadı. Opus URL-ləri 102 dəfə yazdı, Terra isə 23 dəfə yazdı və əsasən kliklədi. Opus təxminən beş dəfə daha çox çıxış tokeni yazdı. Terra-nın təxmini keşsiz token xərci Opusun xərcinin təxminən 17.1%-i idi; nisbət 5.83-dən 1-ə idi.

Hüceyrə mənşəyi və CI auditi

50 ballıq hüceyrə izləmə testində Terra 48, Opus isə 43.5 bal topladı. Terra bütün 20 bölünməni uyğunlaşdırdı və 10 xülasə sualının hamısına cavab verdi; Opus iki bölünməni buraxdı, baş verməyən bir bölünməni qeyd etdi və ümumi bölünmələri və kadr xaricinə çıxan hüceyrələri səhv saydı. Hər ikisi 20 son hüceyrədən ikisini səhv başlanğıc hüceyrəsinə aid etdi. Terra təxminən 15 dəqiqə ərzində 37 gedişdə kodu 30 dəfə işə saldı; Opus təxminən 36 dəqiqə ərzində 129 gedişdə kodu 96 dəfə işə saldı. Terra-nın təxmini keşsiz token xərci Opusun xərcinin təxminən iyirmi dördə biri idi. Alətsiz şəkildə təxminən 1,200 sətir CI nəticəsinin 50 suallıq auditində Terra 47 bal topladı. O, iki status sayımda bir vahid səhv etdi və məlumatlar onları əhatə etmədiyi üçün GPU-runner sualına 0 dollar cavab verdi. Opus 128,000-token çıxış limitinə çatmamışdan əvvəl son cavab vermədi. Terra 56,959 giriş və 61,539 çıxış tokeni istifadə etdi və təxmini xərci 0.36 dollar oldu; Opus 72,460 giriş və 128,000 çıxış tokeni istifadə etdi və təxmini xərci 2.85 dollar oldu. Əvvəlki 3,920-sətirlik versiya hər iki modelin həmin limitə çatmamışdan əvvəl son cavab verməməsi ilə nəticələndi.

Xərclər və məhdudiyyətlər

Üç son qaçış üzrə Terra 25,292,559 giriş və 138,611 çıxış tokeni istifadə etdi; təxmini keşsiz xərci 25.99 dollar oldu. Opus isə 51,895,447 giriş və 369,032 çıxış tokeni istifadə etdi; xərci 214.96 dollar oldu. Bu, Opus-un xərcinin təxminən 12.1%-i qədərdir, yəni 8.27-dən 1-ə nisbətdir. Keşlə təxmini xərclər 2.51 dollar və 21.52 dollar idi. Terra-nın ümumi keçən vaxtı 2,418 saniyə, Opusun isə 3,962 saniyə oldu. Müəllif hər son testi hər model üçün maksimal səy səviyyəsində, satıcıların API-ləri vasitəsilə bir dəfə keçirdi, əvvəlki nəticələrdən sonra testləri dəyişdirdi və nəticələrin təkrarlanabilirliyi və ya orta performansı müəyyən etmədiyini bildirdi. Onlar həmçinin səy ayarlarının təsirini ayrıca ayırmırlar; Anthropic Opus 5.5-i standart orta səy səviyyəsindən başlamağı tövsiyə edir.

Mənbələr: The New Stack