Edge0-მ 145B პარამეტრიანი მოწყობილობაზე მომუშავე AI მოდელი ლეპტოპზე ლოკალური ინფერენსისთვის ღია კოდით გამოუშვა

Edge0-მ ღია კოდით გამოუშვა Edge0-145B და Edge0-120B ერთიან ინფერენსის ჩარჩოსთან და განლაგების ხელსაწყოებთან ერთად. Edge0-145B აღწერილია როგორც პირველი ღია კოდით გამოქვეყნებული მოწყობილობაზე მომუშავე AI მოდელი 145 მილიარდი პარამეტრით, რომელიც კოდირებაში, მსჯელობასა და აგენტურ შესაძლებლობებში კონკურენციას უწევს წამყვან ღრუბლოვან მოდელებს. კომპანიის თქმით, მას შეუძლია ლოკალურად იმუშაოს თავსებად ლეპტოპზე 29GB პიკური მეხსიერებით და დეკოდირება 80 ტოკენ/წმ-ზე მეტი სისწრაფით შეასრულოს.

ლოკალური წარმადობა და დიზაინი

მოხსენებულია, რომ Edge0-145B იყენებს 29GB პიკურ მეხსიერებას, პრომპტებს ამუშავებს 1 100+ ტოკენ/წმ-ით, აგენერირებს 80+ ტოკენ/წმ-ით, ტიპიურად დაახლოებით 120W-ს მოიხმარს და მხარს უჭერს 128K-დან 256K-მდე კონტექსტს. მისი დიზაინი დიდ მატრიცებს 64 იშვიათი ექსპერტის ჯგუფებს შორის ანაწილებს, ამიტომ ინფერენსის თითოეულ საფეხურზე 145B პარამეტრიდან მხოლოდ დაახლოებით 10B მონაწილეობს. ცხელი ექსპერტები GPU-ის მეხსიერებაში რჩებიან, დაახლოებით 40GB ექსპერტთა ბიბლიოთეკა სისტემურ მეხსიერებაშია, ხოლო დაახლოებით 48GB ლექსიკის მონაცემები SSD-ზე ინახება. CPU და GPU პარალელურად მუშაობენ, ხოლო სპეკულაციური დეკოდირება ერთდროულად რამდენიმე კანდიდატ ტოკენს ამოწმებს. ადრინდელი სატელეფონო მოდელის, Edge0-35B-ის, შემთხვევაში მოხსენებული იყო 2,5GB-ზე ნაკლები პიკური მეხსიერება და 37+ ტოკენ/წმ iPhone 18 Pro Max-ზე; ეს გაზომვები სხვა მოდელსა და აპარატურას ეხება.

ბენჩმარკები, მეხსიერება და ლოკალური სამუშაო პროცესები

Edge0-145B აფიქსირებს 64,6 ქულას DeepSWE 1.1-ში, 86,52 ქულას Terminal-Bench 2.1-ში, 35,4 ქულას HLE-ში, 90,4 ქულას GPQA-Diamond-ში, 80,6 ქულას IFBench-ში და 79,3 ქულას AA-LCR-ში. ექვსივე ბენჩმარკზე საშუალოდ 72,8 ქულას აჩვენებს, გაზომილი 29GB პიკური მეხსიერებით, რაც შედარებულია Qwen3.8-Flash-Next-ის 71,7 ქულასთან და სტანდარტული 4-ბიტიანი განლაგებისთვის სავარაუდო 70GB მეხსიერების მოცულობასთან. Qwen3.8-27B-სთან შედარებით მატება მოიცავს 18,5%-ს Terminal-Bench-ზე და 53,1%-ს DeepSWE-ზე, ასევე 14,9%-ს HLE-ზე, 1,3%-ს GPQA-ზე და 1,4%-ს IFBench-ზე. მოდელს შეუძლია დაგეგმოს, დაწეროს და გაუშვას კოდი, აღმოფხვრას შეცდომები და ვიზუალურად შეამოწმოს შედეგები. დემონსტრაციებს შორისაა Roadster-ის განმარტებითი ვიდეო ერთ საათში, მანჰეტენის 3D სცენა Blender-ში ერთ საათში, 20-წამიანი გაფრენა შუა საუკუნეების ქალაქზე, დრონის ნავიგაციის პროგრამა და PCB-ის დიზაინი აწყობის ანიმაციით. კომპანიის თქმით, მანჰეტენის მასშტაბის სცენა ხელით დაახლოებით $12 000-18 000 დაჯდებოდა და მინიმუმ ერთი თვე დასჭირდებოდა, მაშინ როცა წამყვანი ღრუბლოვანი მოდელი ღრუბლოვანი ტოკენების საფასურში $150-ზე მეტს დახარჯავდა. ლოკალური ინფერენსისას არ იხდით ღრუბლოვანი მოდელის ტოკენების ან API-ის საფასურს, თუმცა აპარატურისა და ელექტროენერგიის ხარჯი მაინც რჩება.

პლატფორმა, პორტფოლიო და ეკოსისტემა

Edge0-145B მხარს უჭერს macOS-ს, Windows-ს და Linux-ს გამოშვების პირველივე დღეს, მათ შორის Apple M-სერიის ჩიპებსა და NVIDIA-ს პლატფორმებს, როგორიცაა RTX Spark, RTX 4090 და RTX 5090. Edge0-მ გამოუშვა 200 მოდელი ოთხ ოჯახში: Edge0 რთული აგენტური ამოცანებისა და vibe coding-ისთვის, Audio8 მოსმენისა და ლაპარაკისთვის, Decision0 სწრაფი გადაწყვეტილებებისთვის და Embedding0 მეხსიერებისთვის. მისი პორტფოლიო მოიცავს ძირითადი ჩიპური პლატფორმების 95%-ს და ვრცელდება წარმოებაში მყოფ 5 მილიონზე მეტ მოწყობილობაზე; სამ თვეში ჩამოტვირთვებმა 15 მილიონს გადააჭარბა, ხოლო 2026 წლის ოქტომბრისთვის კლიენტ ორგანიზაციების რაოდენობამ 110 000-ს გადააჭარბა. Edge0-35B-ის სექტემბრის გაშვების პოსტმა პირველივე დღეს 1,2 მილიონ ნახვას გადააჭარბა, ხოლო Edge0-იც და Audio8-იც Hugging Face-ის Trending ჩარტში პირველ ადგილზე მოხვდნენ. ლოკალურ ინფერენსს შეუძლია კოდი და მონაცემები კომპიუტერზე შეინახოს, ოფლაინ ძირითადი შესაძლებლობები უზრუნველყოს და გამოყენების ზრდასთან ერთად თავი აარიდოს ღრუბლოვანი მოდელის ტოკენების ან API-ის საფასურს.

წყაროები: edge0.ai