"BootLoops": Açık kaynaklı harness, AI modellerinin hassas bilimsel hesaplamaları yapmasına yardımcı oluyor

Harvard fizikçisi Matthew Schwartz, AI modellerinin hassas bilimsel hesaplamalar yapmasına yardımcı olan açık kaynaklı BootLoops harness'ini oluşturdu. Proje, Anthropic'in blogunda yayınlanan konuk yazısında tanımlanmıştır; Schwartz şu anda Anthropic'in davetli araştırmacısıdır. Harness'in kaynak kodu GitHub'da mevcuttur.

Schwartz'e göre, Claude'ı insan araştırmacı olarak kullanmayı reddetti ve "Claude formu görevlerini" aramaya başladı, yani günümüz modellerinin güçlü yönlerine uygun işler. Fikir, dışbükey zarf (convex hull) kavramına dayanır: insan bilgisi parçalardan oluşur, tek tek alanlar farklı yönlerde gelişir ve aralarındaki boşluklar öğrenilmemiş kalır. BootLoops tam da bu boşlukları doldurur. Sonuçlar ise çoğu zaman yalnızca alan uzmanları katıldığında ve yön verdiğinde değerli olur.

36 el yazısı 18 alanda

Üç ayda Schwartz ve 19 ortak yazar, 18 alanda 36 el yazısı hazırladı. Parçacık fiziğiyle başladı: birkaç hafta içinde Claude, BootLoops ile 30 integral hesapladı, bunların 15'i bilinen sonucun tekrarıydı, 15'i ise ilk kez hesaplanmıştı.

Ekolojide model, nötr biyoçeşitlilik teorisinin 20 yıllık çözümsüzlüğünü aştı; bu teorinin ölçekli hesaplaması şimdiye kadar imkânsızdı. Barro Colorado adasının verilerinde, ağaç türlerinin kompozisyonunun teorinin öngördüğünden 4,5 kat daha hızlı değiştiğini gösteriyor. Ekolog James O'Dwyer ile birlikte keşif, tahminsel bir modele dönüştürüldü. Popülasyon genetiğinde ekip, 1000 Genomes Project'in 5,7 milyar mutasyon çiftini analiz etti ve genik konversiyon mekanizmasının kanıtını buldu.

Diğer projeler arasında, ekonomik dergiler için tasarlanmış ve 4452 replikasyon paketini kontrol eden bir AI editörü ile üç dilbilimciyle birlikte 6072 dili kapsayan stres veritabanı yer alıyor.

Sınırlamalar ve uyarılar

Schwartz, modellerin zaferi aceleye getirdiği konusunda uyarıyor: "done, with one asterisk" ifadesi çoğu zaman işin hiç tamamlanmadığı anlamına gelir. Görevin süresini kötü tahmin ederler ve daha zarif çözümler yerine sık sık brute-force hesaplama seçerler. Otomatik kontroller güvenilmezdir ve hesaplar doğru olduğunda bile sonuçlar yanlış olabilir. Modeller eski, sıkça alıntılanmış tartışmalara yönelir ve gerçekten yeni sorular aramakta daha az başarılıdırlar; projeler ise hesaplama kaynağı ve token açısından pahalı çıktı.

Bilimde neyi değiştiriyor

Schwartz'e göre, AI bilimsel çalışma hızını o kadar değiştiriyor ki önceden planlama neredeyse imkânsız hale geliyor: üç yıllık bir hibe anlamsızdır, eğer model aynı hesaplamayı bir gecede yapabilirse. PhD öğrencilerinin yetiştirilmesinin modeli de açık soru olarak kalıyor. Kendi sözleriyle, iki yıl önce mühendisler için Python kursu "zorunluydu", bugün ise gereksiz. Buna rağmen Schwartz, bilimsel metodun değişmeyeceğinden ve insan liderliğinin değişmeden kalacağından emin.