Gemini 4 Argon და Claude Opus 5.5: დამოუკიდებელი ტესტები შერეულ შედეგებს აჩვენებს

Google-მა Gemini 4 Argon 30 სექტემბერს ტესტერების მცირე ჯგუფს წარუდგინა და საბენჩმარკო ცხრილიც გამოაქვეყნა, რომელიც Argon-ს Claude Opus 5.5-ზე წინ აყენებდა 18 ტესტიდან 14-ში, მათ შორის DeepSWE-ში (77,9% vs. 74,2%) და GraphWalks-ში 256K-დან 1 მილიონ ტოკენამდე (84,2% vs. 66,8%). 13 ოქტომბერს Google-მა Argon ფასიანი Gemini API-ის დეველოპერებისთვის გახსნა.

დროებითი ფასდაკლება

30 ნოემბრამდე Argon-ის ფასი 2 დოლარია მილიონ შემავალ ტოკენზე და 10 დოლარი მილიონ გამომავალ ტოკენზე, რაც Opus 5.5-ის ფასის ნახევარია. 1 დეკემბრიდან ფასი 4 დოლარამდე და 20 დოლარამდე იზრდება, რაც Opus-ს ემთხვევა. Google-მა ასევე გამოაქვეყნა, სად ლიდერობს Opus, მათ შორის Terminal-bench 4.0 (66,4% vs. 57,4%), რომელიც ბრძანების სტრიქონში აგენტურ მუშაობას ამოწმებს. ავტორმა აღნიშნა, რომ ბენჩმარკები ყოველთვის არ შეესაბამება რეალურ სამუშაოს და ნახევარფასიან პერიოდს მნიშვნელობა მხოლოდ მაშინ აქვს, თუ მოდელი ხარისხით კონკურენტს უტოლდება.

ავტორმა თითო ამოცანა თითო მოდელზე ერთხელ გაუშვა OpenRouter-ის მეშვეობით, მწარმოებლების სერვერებზე და მსჯელობის ნაგულისხმევი პარამეტრებით. ეს ერთჯერადი შედეგებია და არა განმეორებითი გაზომვებით დადგენილი სიზუსტე.

კოდის ტესტები

3 500 სტრიქონიან Python-ის ბიბლიოთეკაში ბაგების ძებნისას, სადაც 14 ჩანერგილი ლოგიკური ბაგი და ხუთი სატყუარა იყო, ორივე მოდელმა 14-ვე ბაგი იპოვა და არც ერთი სატყუარა არ მონიშნა, შემდეგ კი გაასწორა ისე, რომ 93-ვე არსებული ტესტი კვლავ გადიოდა. Argon-ს საშუალოდ დაახლოებით 1 ცენტი უჯდებოდა თითო ნაპოვნ ბაგზე, Opus-ს კი 2,4 ცენტი. ბილინგის სპეციფიკაციაზე, რომელსაც 80 ფარული ტესტი აფასებდა, Opus-მა 80-ვე ჩააბარა, ვალუტის დამატებითი შემოწმების შემდეგ კი 100-ვე; Argon-მა კი 80-დან 11 და 100-დან 20 ჩააბარა. Argon-ის წარუმატებლობის მიზეზი ერთი ხაზი იყო, რომელიც Python-ის datetime.combine() ფუნქციას ზედმეტ არგუმენტს გადასცემდა; ხელით გასწორების შემდეგ Argon-მა 80/80 და 100/100 დააგროვა.

გრძელი კონტექსტი და ვერდიქტი

400 სერვისისგან შემდგარი ყალბი ვიკის გამოყენებით, ორივე მოდელმა გრაფის შესახებ სამი კითხვიდან ორს ზუსტად უპასუხა ყველა იმ ზომაზე, რომელზეც თავად გამოიცადა. 900K დოკუმენტი Claude-ის ტოკენიზატორით 1,4 მილიონ ტოკენამდე გაიზარდა და Anthropic-ის API-მ უარყო, ამიტომ Opus ამ ზომაზე არ გამოუცდიათ. დოკუმენტების ნომინალური ზომები ორივე მოდელისთვის ტოკენების ერთნაირ რაოდენობას არ ნიშნავს. განსხვავება შეფერხების გავრცელების არეალის, ანუ blast radius-ის კითხვაზე გამოჩნდა, რომელიც ითხოვს ყველა იმ 33 სერვისს, რომლებიც ერთ-ერთი სერვისის გათიშვის შედეგად მუშაობას წყვეტს. Opus-მა 500K ტოკენზე 33-ვე სწორად დაასახელა, 600K-ზე კი 32, არასწორი ჩანაწერების გარეშე; Argon-მა 500K-ზე 20 სწორი და 8 არასწორი დაასახელა, 600K-ზე 19 სწორი და 16 არასწორი, 900K-ზე კი 23 სწორი და 2 არასწორი. Argon-მა ასევე მხოლოდ 243-დან 425-მდე გამომავალი ტოკენი გამოიყენა, Opus-მა კი 5 000-ზე მეტი; პასუხებს ხილული მსჯელობის გარეშე გადაურბოდა, ავტორმა Argon-ის მსჯელობის შეცდომები საგანგაშო ნიშნად შეაფასა, თუმცა აღნიშნა, რომ ერთჯერადი ცდით მოკლე პასუხებსა და შეცდომებს შორის მიზეზობრივ კავშირს ვერ დაამტკიცებდა.

ავტორმა თქვა, რომ შედეგები Google-ის ბენჩმარკებს არ შეესაბამებოდა და Argon-ს არცერთ ამოცანაზე დაუფიქრებლად არ გამოიყენებდა. Artificial Analysis-ის რეიტინგში Opus 5.5 58 ქულას იღებს, Argon კი 53-ს. თითოეული მოდელისთვის რეალურად ჩატარებული ტესტების ჯამში Argon 4,98 დოლარი დაჯდა 423,3 წამში; Opus კი 8,75 დოლარი 511,0 წამში.

წყაროები: The New Stack