„BootLoops»: բաց կոդի հարնեսը AI մոդելներին օգնում է ճշգրիտ գիտական հաշվարկներում

Հարվարդի ֆիզիկոս Մաթյու Շվարցը ստեղծել է բաց կոդի BootLoops հարնեսը, որն օգնում է AI մոդելներին ճշգրիտ գիտական հաշվարկներ կատարել: Նախագիծը նկարագրված է Anthropic-ի բլոգում հրապարակված հյուրերի գրության մեջ; ինքը՝ Շվարցը, այժմ Anthropic-ի հրավիրված հետազոտող է: Հարնեսի սկզբնական կոդը հասանելի է GitHub-ում:

Շվարցի խոսքով, նա մերժել է Claude-ի որպես մարդկային հետազոտող օգտագործելը և սկսել է փնտրել „Claude-ի ձևի խնդիրները", այսինքն այն գործերը, որոնք հիմնված են ժամանակակից մոդելների ուժեղ կողմերի վրա: Գաղափարը հիմնված է ուռուցիկ պատյանի (convex hull) հայեցակարգի վրա. մարդկային գիտելիքները ֆրագմենտավոր են, առանձին ոլորտները զարգանում են տարբեր ուղղություններով, իսկ դրանց միջև գտնվող դատարկությունները անհայթնելի են մնում: BootLoops-ը հենց այս խնդիրները լուում է: Արդյունքները հաճախ արժեքավոր են դառնում միայն այն դեպքում, երբ ոլորտի մասնագետները միանում են և ուղղություն տալիս:

36 ձեռագիր 18 ոլորտում

Երեք ամիսը Շվարցը և 19 համահեղինակը 18 ոլորտում պատրաստել են 36 ձեռագիր: Սկսել է մասնիկների ֆիզիկայով. մի քանի շաբաթվա ընթացքում Claude-ը BootLoops-ով հաշվել է 30 ինտեգրալ, որոնցից 15-ը հայտնի արդյունքի կրկնում էին, իսկ 15-ը առաջին անգամ հաշվել է:

Էկոլոգիայում մոդելը լուծել է նեյտրալ կենսաբազմազանության տեսության 20 տարվա խնդիրը, որի լայնամասշտաբ հաշվարկը մինչ այդ անհնար էր: Barro Colorado կղզու տվյալների հիման վրա այն ցույց է տալիս, որ ծառերի տեսակների կազմը փոխվում է տեսության կողմից թույլատրվածից 4,5 անգամ արագ: Էկոլոգ Ջեյմս Օ'Դուայերի հետ միասին հայտնաբերումը վերածվել է կանխատեսող մոդելի: Պոպուլյացիոն գենետիկայում թիմը վերլուծել է 1000 Genomes Project-ի 5,7 միլիարդ մուտացիայան զույգ և գտել է գենետիկ կոնվերսիայի մեխանիզմի ապացույց:

Այլ նախագծերի թվում է տնտեսական ամսագրերի համար նախատեսված AI խմբագիրը, որը ստուգել է 4452 պատասխանման փաթեթ, և 6072 լեզվի ստրեսի տվյալների բազաը երեք լեզբանուն համատեղ:

Սահմանափակումներ և նախազգուշացումներ

Շվարցը նախազգուշացնում է, որ մոդելները հաղթանակը կեղծ հայտարարում են. „done, with one asterisk“ արտահայտությունը հաճախ նշանակում է, որ գործը ընդհանրապես չի ավարտվել: Նրանք վատ են գնահատում խնդրի տևողությունը և հաճախ ընտրում են brute-force հաշվարկը ավելի էլեգանտ լուծումի փոխարեն: Ավտոմատ ստուգումները հուսալի չեն, իսկ եզրակացությունները նույնիսկ դեռ կարող են սխալ լինել, երբ հաշվարկները ճիշտ են: Մոդելները նահանջում են հին, շատ անգամ մեկնաբանված դեբատներին և պակաս են փնտրում իսկապես նոր հարցեր. իսկ նախագծերը թվացել են թանկ հաշվարկային ռեսուրսների և թոկենների առումով:

Ի՞նչ է փոխում սա գիտության մեջ

Շվարցի կարծիքով, AI-ն գիտական աշխատանքի տեմպը այնքան փոխում է, որ նախապես պլանավորումը գրեթե անհնար է դառնում. երեք տարվա գրանտը անիմաստ է, եթե մոդելը կարող է նույն հաշվարկը մեկ գիշերում լուծել: Բաց հարցի ենթա է մնում նաև PhD ուսանողների պատրաստման մոդելը: Նրա իսքական խոսքերով, երկու տարի առաջ ինժեներների համար Python-ի դասընթացը „պարտադիր“ էր, այսօր դա ավելորդ է: Այնուամենայնիվ, Շվարցը համոզված է, որ գիտական մեթոդը չի փոխվում և մարդու ղեկավարումը անփոփոխ է մնալու: