Gemini 4 Argon və Claude Opus 5.5: müstəqil testlər qarışıq nəticələr göstərir

Google sentyabrın 30-da Gemini 4 Argon-u kiçik bir sınaqçı qrupuna təqdim etdi. Şirkətin cədvəlində Argon 18 testdən 14-də Claude Opus 5.5-i qabaqlayırdı. Bunlara DeepSWE (77,9%-ə qarşı 74,2%) və 256K-dən 1 milyon tokenədək GraphWalks (84,2%-ə qarşı 66,8%) daxildir. Oktyabrın 13-də Argon ödənişli Gemini API proqramçılarına açıldı.

Müvəqqəti qiymət və sınaq üsulu

Noyabrın 30-dək Argon-un qiyməti hər milyon giriş tokeni üçün 2 dollar, çıxış tokeni üçün 10 dollardır: Opus 5.5-in yarı qiyməti. Dekabrın 1-də qiymətlər 4 və 20 dollara yüksələrək Opus-la bərabərləşəcək. Google Opus-un üstün olduğu testləri də göstərib. Əmr sətrində agent işini yoxlayan Terminal-bench 4.0-da nəticələr 66,4%-ə qarşı 57,4%-dir. Müəllif qeyd edir ki, test nəticələri həmişə real işi əks etdirmir və yarı qiymət yalnız keyfiyyət rəqibə uyğun olduqda əhəmiyyətlidir.

Müəllif hər tapşırığı hər model üçün yalnız bir dəfə, OpenRouter vasitəsilə Google və Anthropic-in öz serverlərində, standart mühakimə parametrləri ilə işlədib. Bunlar təkrar sınaqlardan alınan dəqiqlik qiymətləndirmələri deyil, tək işə salmaların nəticələridir.

Kod testləri

3500 sətirlik Python kitabxanasına qəsdən 14 məntiq xətası və əsl xəta olmayan beş yayındırıcı nümunə yerləşdirilib. Hər iki model bütün 14 xətanı tapıb, yayındırıcı nümunələrin heç birini xəta kimi qeyd etməyib və düzəlişlərdən sonra bütün 93 mövcud test uğurla keçib. Tapılan hər xəta üzrə orta xərc Argon üçün təxminən 1 sent, Opus üçün 2,4 sent olub. Hesablaşma sistemi tapşırığında Opus 80 gizli testin hamısını, valyuta ilə bağlı əlavədən sonra isə bütün 100 testi keçib. Argon-un nəticəsi 11/80 və 20/100 olub. Səbəb Python-un datetime.combine() funksiyasına əlavə arqument ötürən bir sətir idi. Müəllif onu əl ilə düzəltdikdən sonra Argon 80/80 və 100/100 nəticəsini əldə edib.

Uzun kontekst və yekun

400 xidməti təsvir edən süni vikidə hər iki model faktiki işlədiyi bütün ölçülərdə qrafla bağlı üç sualdan ikisini tam düzgün cavablandırıb. 900K sənədi Claude-un tokenizatorunda bir milyon tokeni keçdiyinə görə Anthropic API-si onu rədd edib: Opus 900K-də işlədilməyib. Sənədlərin nominal ölçüləri modellər üzrə eyni token sayını ifadə etmir. Fərq blast radius sualında yaranıb: bir xidmət sıradan çıxanda hansı 33 xidmət işini dayandırır? Opus 500K-də bütün 33 xidməti, 600K-də isə 32-ni düzgün tapıb və yanlış xidmət əlavə etməyib. Argon 500K-də 20 düzgün və 8 yanlış, 600K-də 19 düzgün və 16 yanlış, 900K-də 23 düzgün və 2 yanlış xidmət göstərib. Argon yalnız 243-425 çıxış tokeni, Opus isə 5000-dən çox token işlədib. Argon görünən addım-addım mühakimə olmadan tez cavab verib. Müəllif mühakimə xətalarını ciddi xəbərdarlıq hesab edib, amma bir sınaqla onların qısa cavablarla səbəb əlaqəsini sübut edə bilmədiyini bildirib.

Müəllifin nəticələri Google-ın testləri ilə uyğun gəlməyib və o, heç bir tapşırıqda Argon-a qeyd-şərtsiz güvənməyəcəyini yazıb. Artificial Analysis reytinqində Opus 5.5 58, Argon isə 53 bal alıb. Hər modelin faktiki yerinə yetirdiyi testlər üzrə Argon-un ümumi xərci 423,3 saniyədə 4,98 dollar, Opus-un isə 511,0 saniyədə 8,75 dollar olub.

Mənbələr: The New Stack