OpenAI-მ GPT-6-ისთვის პრომპტების ქეშირება გააუმჯობესა

OpenAI-მ 22 სექტემბერს გამოაქვეყნა გაუმჯობესებული პრომპტების ქეშირების სისტემა GPT-6 მოდელების ოჯახისთვის. კომპანიის თქმით, ის ნაგულისხმევად ზრდის ქეშის მოხვედრის მაჩვენებელს და დეველოპერებს ქეშირებულ შემავალ ტოკენებზე 90 პროცენტამდე ფასდაკლებას აძლევს.

ქეშირება განსაკუთრებით მნიშვნელოვანია აგენტებისთვის, რომლებიც საათობით მუშაობენ რთულ ამოცანებზე — კოდის ბაზის რეფაქტორინგიდან კვლევითი დოკუმენტების მომზადებამდე. ასეთი აპლიკაციები ზედიზედ აგზავნიან მოთხოვნებს ერთი და იგივე ინსტრუქციებით, ხელსაწყოების განსაზღვრებებითა და წინა კონტექსტით, ამიტომ გამოთვლების ხელახლა გამოყენება ამცირებს დაყოვნებასაც და ხარჯსაც.

მაღალი მოხვედრის მაჩვენებელი

GPT-6-თან ერთად OpenAI აცხადებს, რომ შესაბამის საერთო პრეფიქსებზე ფასდაკლება მოქმედებს 30-წუთიან ფანჯარაში ხელახლა გამოყენებისას. სისტემა ავტომატურია, თუმცა კომპანიამ ახალი ხელსაწყოებიც დაამატა, რომლებიც გუნდებს გაზომვის საშუალებას აძლევს.

ახალი Prompt Caching Dashboard აჩვენებს, თუ რამდენი მონაცემი მოდის ქეშიდან, აკვირდება მაჩვენებელს დროთა განმავლობაში და ადარებს ქეშირებულ და არაქეშირებულ ტოკენებს. მოულოდნელი გამოტოვებისას დიაგნოსტიკის ხელსაწყო მოთხოვნას ბოლო პასუხს ადარებს და ასახელებს მიზეზს — შეცვლილი მოდელი, ხელსაწყოები, პარამეტრები თუ შემავალი — და აფასებს დაზარალებულ ტოკენებს. OpenAI-ის მაგალითში tools_changed მიზეზით 5 629 ხელახლა გამოსაყენებელი ტოკენი დაიკარგა.

კონტროლი დეველოპერებისთვის

ექსპლიციტური ქეშის წერტილები საშუალებას აძლევს დეველოპერებს აირჩიონ, რომელი პრეფიქსები გამოიყენონ ხელახლა; OpenAI-მ გზამკვლევიც განაახლა. GPT-6 მოდელებზე რეზონინგის ძალისხმევა პასუხებს შორის configuration_update-ის დამატებით იცვლება — მოთხოვნის დონის პარამეტრი უცვლელი რჩება და ქეში არ ირღვევა.

OpenAI ურჩევს ხელსაწყოების განსაზღვრებების, სქემებისა და თანმიმდევრობის სტაბილურად შენარჩუნებას: საჭირო ხელსაწყოები გამოაჩინეთ allowed_tools-ით ან დააყენეთ tool_choice მნიშვნელობაზე none, ნაცვლად განსაზღვრებების წაშლისა. ახალი ინსტრუქციები კონტექსტის ბოლოს developer-შეტყობინებებით უნდა დაემატოს, ხოლო ცნობილი კონტექსტი წინასწარ შეიძლება გახურდეს.

რას ამბობენ მომხმარებლები

GitHub Copilot-ის პროდუქტის ხელმძღვანელის მარიო როდრიგესის თქმით, მილიარდობით მოთხოვნაში ახლად დასამუშავებელი პრომპტ-ტოკენების წილი 50 პროცენტზე მეტით შემცირდა. Strawberry Browser-ის ტექნიკური დირექტორი არიან ჰანიფი იუწყება 20 პროცენტით დაბალ ხარჯებს და იმას, რომ ექსპლიციტურმა წერტილებმა ფონური ამოცანებისთვის დიალოგების განშტოება მიზანშეწონილი გახადა. Manus ერთ კვირაზე ნაკლებ დროში დაახლოებით 85-დან სტაბილურად 90 პროცენტზე მეტამდე გაიზარდა, Wordsmith კი 83-დან 91 პროცენტამდე — ქეშის ჩაწერების ორი მესამედით და ინფერენსის ხარჯების 36 პროცენტით შემცირებით.