doubleAI, çalışan kodu optimize eden bir kod yürütme modeli olan Maxwell'i tanıttı

Maxwell, kodu çalışırken optimize eder

2023'te kurulan ve Tel Aviv, İsrail merkezli bir girişim olan doubleAI, Maxwell'i pazartesi günü tanıttı. Kod yürütme modeli, yürütme sırasında ikili kodu değerlendirir, optimize eder ve yeniden yazar. 1867'de James Clerk Maxwell'in hayal ettiği entropi üzerine bir düşünce deneyi olan Maxwell'in Şeytanı'ndan adını alır ve mevcut donanımda performansı en üst düzeye çıkarmak için algoritmaları ve makine komutlarını önceden işler.

Maxwell, kavramsal olarak bir JIT derleyicisine benzer, ancak daha esnektir ve değiştirilen kodun eşdeğerliğini biçimsel olarak doğrular. Kaynak koda dokunulmaz. Teorik bilgisayar bilimleri doktorasına sahip kurucu ortak Gal Beniamini, bir derleyicinin bir algoritmayı değiştirmek gibi üst düzey akıl yürütme yapamayacağını söyledi. Maxwell, tam olarak donanımı, programın içinden akan verilerin şekil ve türlerini, ortam durumunu, aynı anda başka neyin çalıştığını ve hangi koşullarda hangi darboğazların ortaya çıktığını görebilir.

Bildirilen hız artışları ve güvenlik denetimleri

doubleAI, Maxwell'in veri hatlarını 38 kattan fazla, AI çıkarım çekirdeklerini 4,5 kattan fazla hızlandırdığını söyledi. 4K video üreten açık dünya modeli LTX-2.5, Maxwell ile bunu neredeyse iki kat daha hızlı yapmayı başardı. Optimizasyonlar, GPU'lar arasında alışveriş yapılan veriyi azalttı ve gereksiz token doldurmayı elemek için çekirdek seçimini geliştirdi.

Beniamini, Maxwell'in, donanıma sıradan olmayan bir biçimde uyarlanabilen algoritmik kodda en iyi sonucu verdiğini söyledi. Python kodunun ve PyTorch grafiklerinin de, genellikle optimumdan uzak oldukları için kapsamlı optimizasyonlardan yine de yararlanabileceğini ekledi. Maxwell ayrıca bellek hatalarının mevcut olmadığını kanıtlayarak güvenlik için de kullanılabilir. Beniamini, şirketin Python'un kendi içinde Python'un bellek açısından güvenli olmadığı durumlar bulduğunu ve Maxwell'in bunu kanıtladığını söyledi.

Dağıtım ve güven

Maxwell'in izleme ve profillemesinde en fazla yüzde 2 ek yük vardır ve izleme yapılmadığında bu sıfırdır. Beniamini, optimizasyonların bu maliyeti aştığını ve doubleAI'nin çalışma zamanının kendisine de Maxwell uygulayarak her yerde yüzde 2'den çok daha büyük düz bir hız artışı kazandığını söyledi. Geliştiriciler çalışma zamanını kurar ve kodlarını çalıştırır; Maxwell modeli doubleAI tarafından barındırılır, bu da biraz güven gerektiren bir düzenlemedir.

doubleAI'nin kurucu ortağı ve CEO'su Amnon Shashua, AI'nin yazılımın nasıl yazıldığını değiştirdiğini ve şimdi de nasıl çalıştığını değiştirmekte olduğunu söyledi. Kod yürütme modellerini, kullanıcı adına çalışan kod ajanlarından ziyade donanım adına çalışan ajanlar olarak tanımladı ve Maxwell'i programcıya değil makine için çalışan ilk AI olarak nitelendirdi.

Kaynaklar: The Register · doubleAI