GPT-6 Astra-ს 272K ტოკენის დანამატი მთელ მოთხოვნას აძვირებს და არა მხოლოდ გადაჭარბებას

272K-ის ზღვარი

OpenAI-მ GPT-6 Astra 2026 წლის 3 სექტემბერს გამოუშვა, მომდევნო დღეებში კი ეტაპობრივად გაავრცელა ChatGPT-ის ტარიფებზე, API-სა და AWS Bedrock-ზე. მოდელს დაახლოებით 1,05 მილიონი ტოკენის კონტექსტის ფანჯარა, ხელსაწყოების უკეთესი გამოყენება და ინსტრუქციების უფრო ზუსტი დაცვა აქვს; ფასია 10 დოლარი მილიონ შემავალ ტოკენზე, 50 დოლარი მილიონ გამომავალ ტოკენზე და 1 დოლარი მილიონი ქეშირებული შემავალი წაკითხვისთვის. ფასების დოკუმენტაციაში ჩაფლული წესი მათემატიკას ცვლის: მოთხოვნები, სადაც შემავალი პრომპტი 272 000 ტოკენს აღემატება, მთლიან მოთხოვნაზე ორმაგი შემავალი და ქეშის ტარიფებით, აგრეთვე 1,5-ჯერ გამომავალი ტარიფით ითვლება და არა მხოლოდ გადაჭარბებულ ნაწილზე.

მათემატიკა

270 000 ტოკენის შემავალი და 10 000 გამომავალი ტოკენი სტანდარტული ტარიფებით 3,20 დოლარი ღირს. თუ შემავალს 275 000 ტოკენამდე გაზრდით, იგივე მოთხოვნა 6,25 დოლარი დაჯდება. 5 000 ტოკენის დამატება ანგარიშს 3,05 დოლარით ზრდის, რადგან ზღვრამდე არსებული ყოველი ტოკენი რეტროაქტიულად გადაითვლება. დღეში 10 000 მოთხოვნიდან 5% თუ ზღვარს გადააჭარბებს, დანამატი დღეში დაახლოებით 1 500 დოლარს, წელიწადში ნახევარ მილიონ დოლარზე მეტს ამატებს, და ეს მთლიანად იმ პრომპტებით არის გამოწვეული, რომლებიც არასწორ კატეგორიაში მოხვდა.

რატომ რჩება ტელემეტრიის მხედველობის მიღმა

სამი ფაქტორი ართულებს ამ ზღვრის შემჩნევას პროდუქციაში. ტოკენების რაოდენობა უცნობია მანამ, სანამ პრომპტი არ ტოკენიზდება, ხოლო სიმბოლოების რაოდენობით შეფასება კონტენტის მიხედვით 10%-დან 20%-მდე იცდება. API-ს პასუხი სტანდარტულ usage ველებს აბრუნებს დოკუმენტირებული დანამატის დროშის გარეშე, ამიტომ გუნდებმა თავად უნდა შეადარონ შემავალი ტოკენები 272 000-ს, თითოეულ მოთხოვნაზე, საკუთარ მეტრიკის პაიპლაინში. და რადგან დანამატი მთელ მოთხოვნას ეხება, 275 000 ტოკენის პრომპტი თითქმის იმდენივე ღირს, რამდენიც 500 000 ტოკენისა, მაშინ როცა 270 000 ტოკენის პრომპტი დაახლოებით ნახევარი ღირს 275 000 ტოკენისაზე. ყველაზე მოწყვლადი დატვირთვებია გრძელი კონტექსტის RAG პაიპლაინები, აგენტის კვალი, რომელიც აგროვებს ხელსაწყოების გამოძახებებსა და ხელახლა ცდებს, და კოდის მიმოხილვა დიდ დიფებზე.

აღმოჩენა და თავდაცვა

რეკომენდებული გამოსავალი ტოკენის ბიუჯეტის მცველია: გაგზავნამდე დათვალეთ პრომპტის ტოკენები tiktoken-ით, 272 000-ზე დაბალი უსაფრთხოების ზღვრით, და ატეხეთ განგაში, თუ p95 შემავალი ტოკენები 260 000-ს აღემატება, რომ ზღვრისკენ სვლა წინასწარ დაიჭიროთ. RAG პაიპლაინებისთვის წაკითხული პასაჟები ტოკენის ბიუჯეტში ჩაალაგეთ და არა ფიქსირებულ top-K რაოდენობაზე. აგენტებისთვის შეტყობინებების ისტორია შეამოკლეთ, როგორც კი დაახლოებით 200 000 ტოკენს გადააჭარბებს. მართლაც გრძელი დატვირთვებისთვის პრომპტის ქეშირება ზღვრის ზემოთაც კი 10-ჯერ იაფ ტარიფს ინარჩუნებს, ხოლო batch ან flex ტარიფები ლატენტურობის მიმართ ტოლერანტული სამუშაოებისთვის სტანდარტული ტარიფების 50%-ადაა ფასდებული. Fast რეჟიმი, რომელიც სტანდარტული ტარიფების ორმაგია, დანამატს ემატება და მასთან ერთად არ უნდა გამოიყენოთ.

წყაროები: Hackernoon