ფრონტირული AI საკუთარ აპარატურაზე — dlab-ის ღია კოდის კვირეული

150 სტუდენტიან აუდიტორიაში ტიმ დეტმერსმა დასვა კითხვა, რომლის დასმისაც ეშინოდა: ვის ეშინია, რომ დიპლომის შემდეგ სამსახურს ვერ იშოვის? ხელი დაახლოებით 80 პროცენტმა აიწია. 21 სექტემბრის ბლოგპოსტში ის ამტკიცებს, რომ შიში მცდარ დაშვებას ეყრდნობა — თითქოს კვლევის მომავალი იმას ეკუთვნის, ვისაც ყველაზე მეტი GPU აქვს.

კვლევის ერთეული აღარ არის სტატია

აგენტებზე დაფუძნებულმა პროცესებმა ცალკეული პროექტები სწრაფი გახადა, წერს დეტმერსი: რაც ადრე წელიწადს მოითხოვდა, ახლა კვირებში, ზოგჯერ დღეებშიც კეთდება. როცა ყოველი პროექტი მარტივდება, გაფანტული სტატიები კარგ კვლევად აღარ ითვლება. „კვლევის ერთეული ეკოსისტემაა“, — წერს ის; მისი ლაბორატორია ახლა ორ ღია პროექტსა და ოთხ სტატიას ერთ პაკეტად — dlab-ის ღია კოდის კვირეულად — აქვეყნებს.

ფრონტირული მოდელები ჩვეულებრივ აპარატურაზე

აგენტს მიუთითეს ჩარჩოს Mac-ისა და Metal-ის იმპლემენტაციებზე და მარტო დატოვეს კერნელების ოპტიმიზაციისთვის. შედეგი: Qwen 3.6 35B-A3B მოდელის კვანტიზებული ინფერენსი 450 ტოკენი წამში 1.5 ბიტი წონაზე — ნახევრად სიზუსტის მოდელს 16 ბიტი სჭირდება, ასე რომ მეხსიერება დაახლოებით ათჯერ მცირდება.

უფრო დიდი მოდელებიც ეტევა: Qwen 3.8 Flash Next, 125 მილიარდი პარამეტრით, ერთ 24-გიგაბაიტიან GPU-ზე მუშაობს; AMD Strix-ით, NVIDIA DGX Spark-ით ან 128-გიგაბაიტიანი MacBook-ით ჩარჩო უშვებს DeepSeek V4.1-ს, 550-მილიარდპარამეტრიან მოდელს. კონტექსტის დამუშავება ავტომატურია, ინფერენსი კი გრძელ კონტექსტებზეც სწრაფი რჩება.

ავტონომიური კვლევა ლოკალურად

იგივე კომპონენტები გაერთიანდა სრულად ლოკალურ, ინტერნეტის გარეშე მომუშავე ავტონომიური კვლევის სისტემაში. დეტმერსის თქმით, ის აღემატება ფრონტირული ლაბორატორიების deep research სისტემებს, Sakana AI-ის სისტემასა და Google-ის ScientistOne-ს. ბიოინფორმატიკის ექსპერიმენტში აგენტმა იაფი პრობლემა უნდა მოეძებნა; მან სამი კანდიდატი დააბრუნა, დაახლოებით ორ საათში კი დაადგინა ჰეურისტიკული მეთოდების ახალი ქვედა საზღვარი, შეამოწმა ლიტერატურაში საუკეთესო მსგავსი მეთოდი და იპოვა ხარვეზები შეფასებისთვის გამოყენებულ მონაცემთა წყაროებში — თუმცა საერთო პრობლემაზე state of the art-ს ვერ მიაღწია.

გრძელ სესიებს ცოცხალს ინარჩუნებს CliffCompaction — ავტო-კომპაქციის ტექნიკა, რომელიც, დეტმერსის თქმით, მნიშვნელოვნად უფრო ძლიერია, ვიდრე Claude Code-ისა და Codex-ის ავტო-კომპაქცია. სესიები მილიონობით ტოკენს გრძელდება, ზოგი ას მილიონსაც სცდება, საერთო ხარჯი კი დაახლოებით 50 პროცენტით მცირდება; ერთმა პარტნიორმა AI-ის მთლიან ბიუჯეტში 45-პროცენტიანი შემცირება გაზომა. KernelBench-ზე ის state of the art-ს აღწევს — AlphaEvolve-ის ტიპის მიდგომებსა და იერარქიული მეხსიერების სისტემებზე წინ.

აკადემიის რენესანსი

დეტმერსის აზრით, იმ პრობლემების სივრცე, რომელთა შეტევა იაფია და გადაწყვეტა ღირებული, უზარმაზარი და უკონკურენტოა, რადგან დიდი რესურსების მქონე მოთამაშეები მასშტაბზე იბრძვიან. ის CMU-ში ოთხკვირიან კურსს და მომავალ სემესტრში სრულ კურსს ამზადებს, მასალის YouTube-ზე გამოქვეყნების მიზნით.