Kendi donanımınızda sınır AI: dlab Açık Kaynak Haftası

150 kişilik bir sınıfta Tim Dettmers, sormaktan korktuğunu söylediği soruyu sordu: mezun olduktan sonra iş bulamayacağından kim korkuyor? Yüzde sekseni elini kaldırdı. 21 Eylül'de yayımlanan yazıda, bu korkunun yanlış bir varsayıma dayandığını savunuyor: araştırmanın geleceğinin en çok GPU'ya sahip olana ait olduğu varsayımına.

Araştırmanın birimi artık makale değil

Ajan tabanlı iş akışları tek tek projeleri hızlandırdı, diye yazıyor Dettmers: bir yıl süren işler artık haftalar, bazen günler alıyor. Her proje ucuzladığında dağınık makaleler iyi araştırma sayılmaktan çıkıyor. "Araştırmanın birimi ekosistemdir" diyor; laboratuvarı şimdi iki açık kaynak projeyle dört makaleyi tek paket olarak yayımlıyor — dlab Açık Kaynak Haftası.

Sıradan donanımda sınır modelleri

Bir ajan, laboratuvarın çıkarım altyapısının Mac ve Metal uygulamalarına yönlendirildi ve çekirdekleri tek başına optimize etmesi için bırakıldı. Sonuç: Qwen 3.6 35B-A3B'nin 1,5 bit/ağırlık düzeyinde saniyede 450 token hızında nicelenmiş çıkarımı — yarım duyarlıklı bir modelin ihtiyaç duyduğu belleğin yaklaşık onda biri.

Daha büyük modeller de sığıyor: 125 milyar parametreli Qwen 3.8 Flash Next tek bir 24 GB GPU'da çalışıyor; AMD Strix, NVIDIA DGX Spark veya 128 GB'lık bir MacBook ile altyapı, 550 milyar parametreli DeepSeek V4.1'i çalıştırıyor. Bağlam işleme otomatik ve çıkarım uzun bağlamlarda da hızlı kalıyor.

Yerelde çalışan otonom araştırma

Aynı bileşenler, tamamen yerel çalışan ve internete erişmeyen bir otonom araştırma sisteminde birleştirildi. Dettmers'a göre sistem, sınır laboratuvarlarının derin araştırma sistemlerini, Sakana AI'ın sistemini ve Google'ın ScientistOne'ını geride bırakıyor. Bir biyoinformatik deneyinde ajan ucuz bir problem aradı; üç aday getirdi ve yaklaşık iki saatte sezgisel yöntemler için yeni bir alt sınır belirledi, literatürdeki en iyi yöntemi sınadı ve değerlendirmede kullanılan veri kaynaklarında sorunlar buldu — en ileri düzeye ulaşamasa da.

Uzun oturumları CliffCompaction adlı otomatik sıkıştırma tekniği ayakta tutuyor; Dettmers'a göre Claude Code veya Codex'teki otomatik sıkıştırmadan belirgin biçimde güçlü. Oturumlar milyonlarca token sürüyor, bazıları yüz milyonu aşıyor, toplam maliyet yaklaşık yüzde elli düşüyor; bir iş ortağı toplam yapay zekâ bütçesinde yüzde 45'lik azalma ölçtü. KernelBench'te en ileri düzeye ulaşıyor; AlphaEvolve tarzı yaklaşımları ve hiyerarşik bellek sistemlerini geride bırakıyor.

Akademide bir rönesans

Dettmers, saldırması ucuz ve çözülmesi değerli problemlerin alanının uçsuz bucaksız ve rakipsiz olduğunu savunuyor; kaynak sahibi oyuncular bunun yerine ölçekte yarışıyor. CMU'da dört haftalık bir kurs ve gelecek dönem tam bir kurs hazırlıyor, materyali YouTube'a koymayı hedefliyor.