„BootLoops“: açıq kodlu harness AI modellərinə dəqiq elmi hesablamalarda kömək edir

Harvard fiziki Matçyu Şvars açıq kodlu BootLoops harnessini yaradıb, bu AI modellərinə dəqiq elmi hesablamaları yerinə yetirməkdə kömək edir. Layihə Anthropic bloqunda dərc olunan qonaq yazısında təsvir edilib; Şvars hazırkı vaxtda Anthropic-in dəvətli araşdırmaçısıdır. Harnessin başlanğıc kodu GitHub-da əlçatandır.

Şvarsın dediyinə görə, o, Claude-i insan araşdırmaçı kimi istifadə etməkdən imtina etdi və „Claude forması tapşırıqlarını“ axtarmağa başladı, yəni müasir modellərin güclü tərəflərinə əsaslanan işləri. İdeya qabarıq qabıq (convex hull) anlayışına əsaslanır: insan bilikləri parçalıdır, ayrı-ayrı sahələr müxtəlif istiqamətlərdə inkişaf edir, aralarındakı boşluqlar isə qalır. BootLoops dəqiq bu boşluqları doldurur. Nəticələr isə çox vaxt yalnız sahə ekspertləri qoşulub istiqamət verdikdən sonra dəyərli olur.

36 əlyazma 18 sahədə

Üç ayda Şvars və 19 həmmüəllif 18 sahədə 36 əlyazma hazırlayıb. Molekulyar fizikənə başladı: bir neçə həftə ərzində Claude BootLoops ilə 30 integral hesablayıb, 15-i məlum nəticənin təkrarı olub, 15-i isə ilk dəfə hesablanıb.

Ekologiyada model neytral biomüxtəliflik teoriyasının 20 illik çətinliyini həll edib, onun miqyaslı hesablaması əvvəllər mümkün deyildi. Barro Colorado adasının məlumatlarında o, ağac növlərinin tərkibinin təoriyə görə nəzərdə tutulandan 4,5 dəfə sürətlə dəyişdiyini göstərir. Ekoloq Ceyms O'Duyer ilə birlikdə kəşf proqnoz modelinə çevrildi. Populyasiya genetikasında komanda 1000 Genomes Project-in 5,7 milyard mutasiya cütünü təhlil edib və gen konversiyası mexanizminin sübutunu tapıb.

Digər layihələrə iqtisadi jurnallar üçün nəzərdə tutulmuş AI redaktor daxildir, o, 4452 replikasiya paketini yoxlayıb, və 6072 dil stres məlumat bazası üç dilimütəxəssislə birlikdə.

Məhdudiyyətlər və xəbərdarlıqlar

Şvars modellərin qələbəni əlaqəsiz elan etdiyinə görə xəbərdarlıq edir: „done, with one asterisk“ ifadəsi çox vaxt işin ümumiyyətlə tamamlanmadığı deməkdir. Onlar tapşırığın dəqiqliyini pis qiymətləndirir və çox vaxt daha elegant həllin əvəzinə brute-force hesablamasını seçir. Avtomatik yoxlamalar etibarlı deyil, nəticələr isə hesablamalar düzgün olsa belə səhv ola bilər. Modellər köhnə, çox dəfə sitat götürülmüş mübahisələrə meyl vurur və az həqiqətən yeni suallar axtarır; layihələr isə hesablama resursları və tokenlər baxımından bahalı çıxışa çatdı.

Bu elmdə nəyi dəyişir

Şvarsın fikrincə, AI elmi iş sürətini o qədər dəyişir ki, əvvəlcədən planlaşdırmaq demək olar ki mümkün olmaz: üç illik qrant mənasızdır, eyni hesablamanı model bir gecədə həll edə bilərsə. Açıq sual qalır PhD tələbələrinin hazırlanması modeli də. Onun öz sözləri ilə, iki il əvvəl mühəndislər üçün Python kursu „məcburi“ idi, bu gün isə artıqdır. Buna baxmayaraq, Şvars əmin ki, elmi metod dəyişmir və insan rəhbərliyi dəyişməz qalır.