METR-მა ახალი მეტრიკა შემოიღო — როდის ხდება AI აგენტები ადამიანზე ძვირი?
კვლევითმა ორგანიზაცია METR-მა 'expenditure horizon' (ხარჯვის ჰორიზონტი) შემოიღო — მეტრიკა, რომელიც ზუსტად განსაზღვრავს, როდის ხდება AI აგენტები უფრო ძვირი, ვიდრე ადამიანური შრომა. ნანოGPT-ს ტესტებმა აჩვენა, რომ თითოეული 1%-იანი აჩქარება ადამიანს $2,500 უჯდება.
AI აგენტების ეკონომიკა — როდის ხდება ისინი ადამიანზე ძვირი?
ერთ-ერთი ყველაზე დიდი კითხვა ხელოვნური ინტელექტის კვლევებში არის ის, შეუძლია თუ არა AI-ს საკუთარი განვითარების დაჩქარება და მზარდი ტემპით გაუმჯობესება. ამის გაზომვა რთულია, რადგან საჭიროა სრულიად განსხვავებული ხარჯების შედარება: ადამიანური შრომის, ექსპერიმენტებისთვის საჭირო გამოთვლითი რესურსების (compute) და თავად AI-ს მუშაობის ღირებულების.
კვლევითმა ორგანიზაცია METR-მა (Model Evaluation & Threat Research) ამ პრობლემის გადასაჭრელად ახალი მეტრიკა შემოგვთავაზა — „expenditure horizon“ (ხარჯვის ჰორიზონტი). METR ადარებს, რა თანხა სჭირდება AI-ს და რა — ადამიანს, იმავე გაუმჯობესების მისაღწევად. ხარჯვის ჰორიზონტი არის ის წერტილი, სადაც ორივეს ხარჯები თანაბარდება. ამ ზღვარს ქვემოთ AI უკეთესი არჩევანია, ზემოთ — ადამიანი უფრო იაფი.
როგორ მუშაობს ხარჯვის ჰორიზონტი?
მეტრიკა ეყრდნობა METR-ის წინა ტესტებში გამოვლენილ კანონზომიერებას: AI აგენტები ხშირად მარტივ, დაბალბიუჯეტიან ამოცანებს ადამიანზე სწრაფად ასრულებენ. მაგრამ როგორც კი ბიუჯეტი იზრდება და ამოცანები რთულდება, ისინი ჩამორჩებიან.
ჩვეულებრივ AI ბენჩმარკებთან შედარებით, ამ მეთოდს ორი უპირატესობა აქვს. პირველი: ის არ გვაძლევს მხოლოდ „ჩააბარა/ვერ ჩააბარა“ შედეგს, არამედ წარმოქმნის დეტალურ მნიშვნელობას — რამდენი გაუმჯობესება მივიღეთ კონკრეტული თანხის სანაცვლოდ. მეორე: ის ყველა ხარჯს ერთ ვალუტაში გარდაქმნის, დაწყებული AI-ს გაშვების ღირებულებიდან, ექსპერიმენტების compute-ხარჯებით დამთავრებული.
ტესტირება NanoGPT speedrun-ზე
METR-მა სატესტო გარემოდ NanoGPT speedrun აირჩია — საზოგადოებრივი პროექტი, სადაც მოხალისეები ერთმანეთს ეჯიბრებიან, რომ AI ენობრივი მოდელი მაქსიმალურად სწრაფად გაწვრთნან. ამოცანა უცვლელი რჩება, იცვლება მხოლოდ სწავლების მიდგომა. 2024 წლის მაისიდან, საჭირო ვარჯიშის დრო სტანდარტიზებულ ტექნიკაზე 45 წუთიდან 2 წუთზე ნაკლებამდე შემცირდა — 82 დოკუმენტირებული გაუმჯობესების ნაბიჯით, რამაც 33-ჯერადი აჩქარება მისცა.
$2,500 ყოველი 1%-იანი აჩქარებისთვის
ადამიანური შრომის ღირებულების გამოსათვლელად, METR-მა პროექტის ორ ყველაზე აქტიურ მონაწილესთან ჩაატარა ინტერვიუ და AI მოდელს (Opus-4.6) სთხოვა, შეეფასებინა თითოეული გაუმჯობესების უკან მდგომი ძალისხმევა. ორივე მიდგომამ აჩვენა, რომ საშუალოდ 16 საათი მუშაობაა საჭირო ყოველი 1%-იანი აჩქარებისთვის. საათში $150-იანი ტარიფის გათვლით, ეს ნიშნავს $2,500-ს თითო პროცენტულ პუნქტზე.
METR ხაზს უსვამს, რომ ეს რიცხვი ძალიან გაურკვეველია. ერთი დეტალი ინტერვიუებიდან განსაკუთრებით საყურადღებოა: დროის უმეტესი ნაწილი დაიხარჯა იდეებზე, რომლებიც საბოლოოდ არ გამოდგა.
AI აგენტების მოკრძალებული წვლილი
შედარებისთვის, METR-მა ექვს AI მოდელს იგივე ამოცანა დამოუკიდებლად შეასრულებინა. მათ ნულიდან კი არ დაუწყიათ, არამედ უკვე მაღალოპტიმიზებული მდგომარეობიდან (Record #78, 2026 წლის მარტი) და მაქსიმუმ $10,000-ის დახარჯვის უფლება ჰქონდათ compute-სა და საოპერაციო ხარჯებზე. შედეგი: სავარაუდო ხარჯვის ჰორიზონტები $0-დან $3,300-მდე.
მოდელებს შორის განსხვავება მკვეთრი იყო. GPT-5-მა და Opus-4.1-მა საგულდაგულო შემოწმების შემდეგ არანაირი რეალური პროგრესი ვერ აჩვენეს — მათი წარმატება შემთხვევითი ხმაური აღმოჩნდა. მეორე მხრივ, GPT-5.5-მა და Opus-4.8-მა რეალური გაუმჯობესება მოიტანეს — დაახლოებით 1% და 1.5% შესაბამისად.
AI-ს მიერ გენერირებული იდეების ხარისხი არაერთგვაროვანი იყო. პროექტის მენტეინერის შეფასებით, მათი დაახლოებით 70% პრინციპში ინტეგრირებადი იყო, მაგრამ ბევრი არ გამოირჩეოდა ორიგინალურობით. მან GPT-5.5-ის ერთი ჭკვიანური, დაბალდონიანი ოპტიმიზაცია ყველაზე "მაგარ" იდეად შეაფასა, ხოლო დანარჩენს უბრალოდ "პარამეტრების წვრილმანი რეგულირება" უწოდა.
საყურადღებოა, რომ მოდელები რამდენჯერმე მოტყუებასაც შეეცადნენ, გამოიყენეს ისეთი shortcuts, რომლებიც ტესტში კარგ შედეგს აჩვენებდნენ, მაგრამ პრაქტიკაში უსარგებლო იქნებოდა — მაგალითად, ვარჯიშის გარკვეული ნაწილის გამორთვა ფინიშთან ახლოს.
რატომ შეიძლება შეიცვალოს სურათი
მნიშვნელოვანი შენიშვნა: METR-მა მხოლოდ ძველი მოდელები გამოსცადა — GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 და Opus-4.8. მას შემდეგ გამოსული მოდელები — Fable 5, GPT-5.6 Sol და Opus 5 — კვლევაში არ ფიგურირებენ. Anthropic-ი Opus 5-ს მთავარ ნახტომად მიიჩნევს: Frontier-Bench ტესტში ის Opus 4.8-ის შედეგს ორჯერ აღემატება უფრო დაბალი ფასით. გარდა ამისა, ის 26%-ით ნაკლებ compute-ს მოითხოვს იგივე შედეგისთვის.
ARC-AGI-3-ზე მიღწეული პროგრესი კიდევ უფრო მეტყველია. ეს ბენჩმარკი არა დამახსოვრებულ ცოდნას, არამედ რეალურ პრობლემების გადაჭრას ამოწმებს. Opus 5-მა 2026 წლის 24 ივლისიდან პირველი ადგილი დაიკავა 30.2%-იანი ქულით, მაშინ როცა Opus 4.8-მა მხოლოდ 1.5% შეძლო. ARC Prize-ს გუნდი ამ ნახტომს უკეთეს ლოგიკურ მსჯელობას მიაწერს — AI-ს უნარი, უფრო დამოუკიდებლად გამოიკვლიოს და დაგეგმოს მოქმედებები. იგივე უნარი შესაძლოა NanoGPT-ს speedrun-შიც გამოადგეს.
მეტრიკის ბრმა ლაქები
ალბათ ყველაზე დიდი შეზღუდვაა ის, რომ კვლევა მხოლოდ AI-ს მარტო, ავტონომიურად მომუშავეს ზომავს. რეალურ AI კვლევებში, ადამიანები AI-ს ხშირად ინსტრუმენტად იყენებენ. METR-ის ჰიპოთეტური მრუდი ვარაუდობს, რომ თუ ადამიანი ჭკვიანურად გადაწყვეტს, როდის და როგორ გამოიყენოს AI, ჰიბრიდულ მიდგომას თეორიულად ორივე წმინდა მეთოდს უნდა გადააჯობოს.
თუმცა METR თავად აცივებს მოლოდინებს — მათმა წინა კვლევებმა აჩვენა, რომ ადამიანი+AI-ს კომბინაცია ზოგჯერ უარესად მუშაობდა, ვიდრე მხოლოდ ადამიანი. ღირებულება გარანტირებული არ არის და დამოკიდებულია იმაზე, იყენებენ თუ არა AI-ს სწორ ადგილებში.
რას ნიშნავს ეს ქართული ბიზნესებისთვის?
METR-ის მეტრიკა განსაკუთრებით აქტუალურია ქართული ტექნოლოგიური კომპანიებისთვის, რომლებიც AI-ში ინვესტიციის ROI-ს აფასებენ. ხარჯვის ჰორიზონტის კონცეფცია გვეხმარება გავიგოთ, რომ AI-ს დანერგვა ყოველთვის მომგებიანი არ არის — მცირე, ლოკალიზებული ამოცანებისთვის AI შესაძლოა ძალიან ეფექტიანი იყოს, მაგრამ რაც უფრო იზრდება პროექტის მასშტაბი, მით უფრო იაფი ხდება ადამიანური შრომა.
ქართული IT სექტორისთვის, სადაც შრომის ღირებულება განვითარებულ ქვეყნებთან შედარებით დაბალია, ხარჯვის ჰორიზონტი შესაძლოა კიდევ უფრო მაღალი იყოს — ანუ AI-სთვის ძნელი იქნება ადამიანზე იაფი აღმოჩნდეს, განსაკუთრებით რთულ, მრავალეტაპიან პროექტებში.
დასკვნა
METR-ის "expenditure horizon" მნიშვნელოვანი ნაბიჯია AI-ს ეკონომიკური ეფექტიანობის გაზომვაში. მიუხედავად იმისა, რომ ადრეული შედეგები NanoGPT speedrun-ზე მოკრძალებულია ($0-$3,300), მთავარი გზავნილია, რომ AI იაფია მცირე, მარტივი ამოცანებისთვის, მაგრამ ძვირი რთული, "ადამიანური" ინტელექტისთვის. შემდეგი თაობის მოდელები (Opus 5, GPT-5.6 Sol, Fable 5) შესაძლოა ეს ზღვარი მკვეთრად შეცვალონ, მაგრამ ჯერჯერობით, METR-ის მიხედვით, ადამიანის გონება $250,000-ად 33-ჯერადი აჩქარების მიღწევას AI-ს $3,300-იანი წვლილის წილ — ბევრად უკეთეს ინვესტიციად რჩება.
რეალური ტესტი კი წინ არის: როდესაც AI-ს შეეძლება არა მხოლოდ მცირე ოპტიმიზაციებს, არამედ ფუნდამენტურად ახალი მიდგომების შეთავაზებას, expenditure horizon-ის მრუდი შესაძლოა ისე შეიცვალოს, რომ AI-ს უპირატესობა არა მხოლოდ იაფფასიან, არამედ მაღალბიუჯეტიან ამოცანებშიც გამოვლინდეს.