GPT-6.1 Terra და Claude Opus 5.5 სამ პროგრამირების დავალებაში შეადარეს

OpenAI-მ GPT-6.1 Terra 26 ოქტომბერს გამოუშვა და მარკეტინგში Claude Opus 5.5-ს შეადარა. სამ სინთეტიკურ ტესტში Terra ტრიაჟში Opus-ს გაუტოლდა, უჯრედების ლინეაჟში მეტი აიღო და CI აუდიტი დაასრულა, რომელიც Opus-მა ვერ დაასრულა; არაქეშირებული ტოკენების სავარაუდო ღირებულება კი გაცილებით დაბალი იყო.

OpenAI-ს მტკიცებები

OpenAI-მა განაცხადა, რომ Terminal-Bench-Science 0.1-ზე Terra Opus 5.5-ს ხუთ პროცენტულ პუნქტში მიუახლოვდა, სარეზერვო რეჟიმებში კი ღირებულება მეხუთედზე ნაკლები იყო. მაქსიმალური ძალისხმევით Terra Opus-ზე სამზე მეტჯერ ტოკენ-ეფექტური და სტანდარტული შემავალი/გამომავალი ტოკენების ფასის მეოთხედია, დავალებაზე ღირებულება კი დაახლოებით მეცხრედი. Agents' Last Exam-ზე Terra-მ 60,0% აიღო $1,01-ად, Opus-მა 63,2% $8,82-ად: სხვაობა 3,2 პუნქტია, ღირებულების შეფარდება 8,73:1. Terra-ს არაქეშირებული API ტარიფებია $1/მლნ შემავალ და $5/მლნ გამომავალ ტოკენზე, Opus 5.5-სთვის კი $4 და $20.

გამოშვების ტრიაჟი

50-პუნქტიან ტრიაჟის ტესტში ექვსი ძირეული მიზეზით, არასტაბილური ტესტების სატყუარებითა და უსაფრთხოების პარამეტრების გვერდის ავლის ინსტრუქციებით, ორივე მოდელმა 50 ქულა აიღო. ორივემ იპოვა ექვსივე მიზეზი, გააუქმა შესაბამისი pull request-ები, გამოიყენა ყველაზე ძველი ღია issue და უგულებელყო ჩაშენებული ინსტრუქციები. Opus-მა URL 102-ჯერ აკრიფა, Terra-მ 23-ჯერ და უმეტესად დააწკაპუნა. Opus-მა დაახლოებით ხუთჯერ მეტი გამომავალი ტოკენი დაწერა. Terra-ს არაქეშირებული ტოკენების ღირებულება Opus-ისას დაახლოებით 17,1% იყო, შეფარდება 5,83:1.

უჯრედების ლინეაჟი და CI აუდიტი

50-პუნქტიან უჯრედების ტრეკინგის ტესტში Terra-მ 48 ქულა, Opus-მა 43,5 აიღო. Terra-მ 20-ვე გაყოფა სწორად დაადგინა და 10-ვე შემაჯამებელ კითხვას უპასუხა; Opus-მა ორი გაყოფა გამოტოვა, ერთი არარსებული მიუთითა და არასწორად დათვალა გაყოფები და კადრიდან გასული უჯრედები. ორივემ 20 საბოლოო უჯრედიდან ორი არასწორ საწყის უჯრედს მიაკუთვნა. Terra-მ კოდი 30-ჯერ გაუშვა 37 ნაბიჯში დაახლოებით 15 წუთში; Opus-მა 96-ჯერ 129 ნაბიჯში დაახლოებით 36 წუთში. Terra-ს არაქეშირებული ტოკენების ღირებულება Opus-ისას დაახლოებით 1/24 იყო. ხელსაწყოების გარეშე CI შედეგების დაახლოებით 1 200 სტრიქონის 50-კითხვიან აუდიტში Terra-მ 47 ქულა აიღო: ორი სტატუსის დათვლაში ერთით შეცდა და GPU-runner-ის კითხვაზე $0 უპასუხა, თუმცა მონაცემები ამ საკითხს არ მოიცავდა. Opus-მა საბოლოო პასუხი ვერ გასცა, სანამ 128 000 ტოკენის გამომავალ ლიმიტს მიაღწევდა. Terra-მ გამოიყენა 56 959 შემავალი და 61 539 გამომავალი ტოკენი ($0,36), Opus-მა 72 460 შემავალი და 128 000 გამომავალი ($2,85). ადრეულმა 3 920-სტრიქონიანმა ვერსიამ ამ ლიმიტის მიღწევამდე არც ერთი მოდელისგან არ მიიღო საბოლოო პასუხი.

ხარჯები და დათქმები

სამ საბოლოო გაშვებაში Terra-მ გამოიყენა 25 292 559 შემავალი და 138 611 გამომავალი ტოკენი (სავარაუდოდ $25,99); Opus-მა 51 895 447 შემავალი და 369 032 გამომავალი ტოკენი ($214,96). ეს Opus-ის ხარჯის დაახლოებით 12,1%-ია, ანუ შეფარდება 8,27:1-ია. ქეშირებით სავარაუდო ღირებულება $2,51 და $21,52 იყო. Terra-ს დრო 2 418 წამია, Opus-ისა 3 962. ავტორმა თითოეული საბოლოო ტესტი თითო მოდელზე ერთხელ გაუშვა მაქსიმალური ძალისხმევის რეჟიმში, მომწოდებლების API-ების მეშვეობით; ტესტები ადრინდელი შედეგების შემდეგ შეცვალა და აღნიშნა, რომ შედეგები გამეორებადობასა და საშუალო წარმადობას არ ადასტურებს. ისინი ძალისხმევის პარამეტრების გავლენასაც არ გამოყოფს; Anthropic-ი გვირჩევს, Opus 5.5 ნაგულისხმევი საშუალო ძალისხმევით დაიწყოთ.

წყაროები: The New Stack