GPT-6 Astra-nın 272K token əlavəsi bütün sorğunu qaldırır, yalnız aşmı deyil

272K həddi

OpenAI GPT-6 Astra-nı 2026-cı ilin 3 sentyabrında buraxdı, sonrakı günlərdə isə mərhələli olaraq ChatGPT tariflərində, API-də və AWS Bedrock-də yaydı. Modelə təxminən 1,05 milyon tokenlik kontekst pəncərəsi, alətlərin daha yaxşı istifadəsi və təlimatların daha dəqiq icrası var; qiyməti 10 dollar milyon giriş tokeninə, 50 dollar milyon çıxış tokeninə və 1 dollar milyon keşlənmiş giriş oxumağa. Qiymət sənədində gizlədilmiş qayda riyaziyyatı dəyişir: giriş promptu 272 000 tokeni aşan sorğular bütün sorğu üçün ikiqat giriş və keş tarifləri ilə, həmçinin 1,5 dəfə çıxış tarifi ilə hesablanır, yalnız aşılan hissəyə deyil.

Riyaziyyat

270 000 giriş və 10 000 çıxış tokeni standart tariflərlə 3,20 dollar edir. Əgər girişi 275 000 tokenə qədər artırsanız, eyni sorğu 6,25 dollar olacaq. 5 000 token əlavəsi hesabı 3,05 dollar artırır, çünki həddə qədər olan hər token retroaktiv olaraq yenidən hesablanır. Gündə 10 000 sorğudan 5% həddi aşarsa, əlavə gündə təxminən 1 500 dollar, ildə yarım milyondan çox dollar artırır və bu tamamilə səhv kateqoriyaya düşmüş promptlər tərəfindən yaranır.

Nə üçün telemetriya görünüşündən kənar olur

Üç amil bu həddin istehsalda nəzərə alınmamasına səbəb olur. Tokenlərin sayı prompt tokenləşənə qədər naməlumdur, simvolların sayı ilə qiymətləndirmə isə məzmununa görə 10%-dən 20%-ə qədər dəyişir. API cavabı standart usage sahələrini sənədləşdirilmiş əlavə vaxt mərhələsi olmadan qaytarır, buna görə komandalar giriş tokenlərini 272 000-ə, hər sorğuda, öz metrik pipeline-ları ilə özləri müqayisə etməlidir. Və əlavə bütün sorğunu təsir etdiyindən, 275 000 tokenli prompt 500 000 tokenli promptla eyni qiymətə, 270 000 tokenli prompt isə 275 000 tokenli promptun təxminən yarım qiymətinə bərabərdir. Ən həssas yükləmələr uzun kontekstli RAG pipeline-ları, alət çağırışlarını və təkrar cəhdləri toplayan agent izi və böyük diff-lərdə kod baxışıdır.

Aşkarlanması və qorunması

Tövsiyə olunan həll yoludur token büdcəsinə nəzarət: göndərməzdən əvvəl prompt tokenlərini tiktoken ilə hesablayın, 272 000-dən aşağı təhlükəsizlik həddi ilə və p95 giriş tokenləri 260 000-i aşarsa, həddə çatmağı əvvəlcədən ələ keçirmək üçün proqnozu pozun. RAG pipeline-ları üçün oxunmuş hissələri token büdcəsinə daxil edin, sabit top-K sayına deyin. Agentlər üçün mesaj tarixçəsini təxminən 200 000 tokeni aşdıqca qısaldın. Həqiqətən uzun yükləmələr üçün prompt keşləməsi həddin üzərində belə 10 dəfə ucuz tarifi saxlayır, batch və ya flex tarifləri isə gecikməyə tolerant işlər üçün standart tariflərin 50%-ə endirilib. Fast rejimi, standart tariflərin ikiqatıdır, əlavə əlavə olunur və onunla birlikdə istifadə edilməməlidir.

Mənbələr: Hackernoon