„BootLoops“: ღია კოდის ჰარნესი AI მოდელებს ზუსტ სამეცნიერო გამოთვლებში ეხმარება

ჰარვარდის ფიზიკოსმა მეთიუ შვარცმა ღია კოდის ჰარნესი BootLoops შექმნა, რომელიც AI მოდელებს ზუსტი სამეცნიერო გამოთვლების შესრულებაში ეხმარება. პროექტი Anthropic-ის ბლოგზე გამოქვეყნებულ სტუმრის პოსტშია აღწერილი; თავად შვარცი ამჟამად Anthropic-ის მოწვეული მკვლევარია. ჰარნესის საწყისი კოდი GitHub-ზეა ხელმისაწვდომი.

შვარცის თქმით, მან უარი თქვა Claude-ის ადამიან მკვლევრად გამოყენებაზე და დაიწყო „Claude-ის ფორმის ამოცანების“ ძებნა, ანუ დღევანდელი მოდელების ძლიერ მხარეებზე მორგებული საქმეებისა. იდეა ეყრდნობა ამოზნექილი გარსის (convex hull) ცნებას: ადამიანის ცოდნა ფრაგმენტულია, ცალკეული დარგები სხვადასხვა მიმართულებით ვითარდება, მათ შორის სიცარიელეები კი შეუსწავლელი რჩება. BootLoops სწორედ ამ ხარვეზებს ავსებს. შედეგები კი ხშირად მხოლოდ მაშინ ხდება ღირებული, როცა დარგის ექსპერტები ჩაერთვებიან და მიმართულებას აძლევენ.

36 ხელნაწერი 18 დარგში

სამ თვეში შვარცმა და 19 თანაავტორმა 18 დარგში 36 ხელნაწერი მოამზადა. დაიწყო ნაწილაკების ფიზიკით: რამდენიმე კვირაში Claude-მა BootLoops-ით 30 ინტეგრალი გამოთვალა, 15 მათგანი ცნობილი შედეგის გამეორება იყო, 15 კი პირველად გამოითვალა.

ეკოლოგიაში მოდელმა გადაჭრა ნეიტრალური ბიომრავალფეროვნების თეორიის 20 წლის განტოლება, რომლის ფართომასშტაბიანი გამოთვლა აქამდე შეუძლებელი იყო. Barro Colorado-ს კუნძულის მონაცემებზე ის აჩვენებს, რომ ხის სახეობების შემადგენლობა თეორიის მიერ დაშვებულზე 4,5-ჯერ სწრაფად იცვლება. ეკოლოგ ჯეიმს ო'დუაიერთან ერთად აღმოჩენა პროგნოზულ მოდელად გადაკეთდა. პოპულაციურ გენეტიკაში გუნდმა 1000 Genomes Project-ის 5,7 მილიარდი მუტაციის წყვილი გააანალიზა და გენური კონვერსიის მექანიზმის მტკიცებულება იპოვა.

სხვა პროექტებს შორისაა ეკონომიკური ჟურნალებისთვის განკუთვნილი AI რედაქტორი, რომელმაც 4452 რეპლიკაციის პაკეტი შეამოწმა, და 6072 ენის სტრესის მონაცემთა ბაზა სამ ენათმეცნიერთან ერთად.

შეზღუდვები და გაფრთხილებები

შვარცი აფრთხილებს, რომ მოდელები გამარჯვებას ნაადრევად აცხადებენ: ფრაზა „done, with one asterisk“ ხშირად იმას ნიშნავს, რომ საქმე საერთოდ არ დასრულებულა. ისინი ცუდად აფასებენ ამოცანის ხანგრძლივობას და ხშირად ირჩევენ brute-force გამოთვლას უფრო ელეგანტური ამოხსნის ნაცვლად. ავტომატური შემოწმებები საიმედო არ არის, დასკვნები კი მაშინაც შეიძლება იყოს მცდარი, როცა თავად გამოთვლები სწორია. მოდელები ძველი, ბევრჯერ დაციტირებული დებატებისკენ იხრებიან და ნაკლებად ეძებენ ნამდვილად ახალ კითხვებს; პროექტები კი გამოთვლითი რესურსისა და ტოკენების მხრივ ძვირი აღმოჩნდა.

რას ცვლის ეს მეცნიერებაში

შვარცის აზრით, AI სამეცნიერო მუშაობის ტემპს იმდენად ცვლის, რომ წინასწარ დაგეგმვა თითქმის შეუძლებელი ხდება: სამწლიანი გრანტი უაზროა, თუ იმავე გამოთვლის ერთ ღამეში გადაჭრა მოდელს შეუძლია. ღია კითხვად რჩება PhD სტუდენტების მომზადების მოდელიც. მისივე სიტყვებით, ორი წლის წინ ინჟინრებისთვის Python-ის კურსი „აუცილებელი“ იყო, დღეს კი ზედმეტია. მიუხედავად ამისა, შვარცი დარწმუნებულია, რომ სამეცნიერო მეთოდი არ იცვლება და ადამიანის ხელმძღვანელობა შეუცვლელი რჩება.