GLM-Legal მოდელი იურიდიულ ბენჩმარკებზე წამყვან სისტემებს უტოლდება უფრო მცირე პარამეტრებით

GLM-Legal, ახალი იურიდიულ სფეროზე სპეციალიზებული AI მოდელი, კოდის ერთბიჯიანი გენერაციიდან უფრო ფართო პროფესიული თანამშრომლობისკენ მიემართება. მსუბუქ GLM-5.3-Flash საფუძველზე აგებული მოდელი რეალური იურიდიული პრაქტიკის მოთხოვნებზეა ორიენტირებული: აგენტმა წყარო დოკუმენტებიდან ძირითადი საკითხები უნდა ამოიღოს, დასაცავი არგუმენტები ააგოს და შედეგები ამოცანის ზუსტ სპეციფიკაციებს მოარგოს, ფაქტებს, საკანონმდებლო დოქტრინას, ანალიტიკურ მსჯელობასა და კლიენტისთვის მზა პროდუქტს შორის უწყვეტი კავშირის შენარჩუნებით.

ბენჩმარკების შედეგები

რთული ამოცანების შესრულების, სპეციალიზებული იურიდიული მსჯელობისა და რეალური იურიდიული სამუშაო პროცესების სამ ღერძზე შეფასებისას GLM-Legal-მა Harvey LAB-ზე 19,2% სრულად გავლის მაჩვენებელს მიაღწია. ბენჩმარკი მოიცავს 24 პრაქტიკის სფეროს რეალურ იურიდიულ ფირმებში არსებულ სამუშაო პროცესებში, ხოლო შედეგი Harvey-ს მკაცრი სრულად გავლის შეფასებით ბაზისურ მოდელს 12,5 პროცენტული პუნქტით აღემატება, რაც შუალედური ხარისხის დაკარგვის გარეშე საიმედო ბოლომდე შესრულებას ადასტურებს.

LegalBench-ზე, რომელიც სპეციალიზებულ კონტრაქტებს, შერწყმის განაცხადებსა და სასამართლო დასკვნებს მოიცავს, მოდელი საუკეთესო დახურულ ფრონტიერ მოდელებს უტოლდება, მიუხედავად იმისა, რომ მნიშვნელოვნად უფრო მცირე პარამეტრული ბიუჯეტით მუშაობს. PLawBench-ზე ის ჩინურ იურიდიულ კონსულტაციაში, საქმის ანალიზსა და დოკუმენტების შედგენაში წამყვან ფრონტიერ სისტემებს უტოლდება დახვეწილი რუბრიკების მიხედვით. Harvey LAB-ზე და LegalBench-ზე შედეგები დამოუკიდებლად შეაფასა Vals-მა.

მომზადების მეთოდოლოგია

ტრენინგი იწყება გაფართოებულ, მაღალხარისხიან იურიდიულ კორპუსებზე შუალედური ტრენინგით, რაც მოდელს ეხმარება ისწავლოს იურიდიული ცნებები, საკანონმდებლო წესები და ინტერპრეტაციის ჩარჩოები მკვრივ დომენურ კონტექსტში და გააძლიეროს დედუქციური კავშირები ფაქტებს, წესებსა და დასკვნებს შორის. შემდეგ გამაგრებითი სწავლება გამოიყენება ათიათასობით რეალისტურ იურიდიულ გარემოში, სადაც აგენტის ჰარნესი runtime ორკესტრაციის ჩარჩოა და მართავს ამოცანის კონტექსტს, აკავშირებს ხელსაწყოებს და მართავს შესრულების უკუკავშირს.

ჰარნესის არქიტექტურა და მოდელის ტრენინგი სინქრონულად ვითარდება. ტრენინგის დროს გამოვლენილი სასაზღვრო შემთხვევები ჰარნესის ბოთლის ყელებს ავლენს, ხოლო ჰარნესის გაუმჯობესებები მოდელს რეალისტურ შესრულების შეზღუდვებს აცნობს. წარმოებაში იურიდიული პრაქტიკოსები შედეგებს კონკრეტული კრიტერიუმებით აფასებენ: დაფარულია თუ არა კრიტიკული საკითხები, დასაბუთებულია თუ არა არგუმენტები და მკაცრად შეესაბამება თუ არა შედეგები საქმის ბრიფს. ეს დაკვირვებები უკან უბრუნდება ამოცანის გარემოს, შეფასების რუბრიკებსა და ჰარნესის დიზაინს, სუბიექტურ ხარისხს კონკრეტულ საინჟინრო დანაკარგის სიგნალებად აქცევს.

ბენჩმარკებიდან იურიდიულ საქმიანობამდე

მოდელი მალე იქნება ხელმისაწვდომი AutoClaw-ში, დესკტოპზე ნატიურ აგენტურ პლატფორმაში. დემონსტრაციები აჩვენებენ, როგორ განიხილავს ის პროგრამული სერვისების კონტრაქტს შეწყვეტისა და გადაცემის პირობებზე, აანალიზებს 40 დოკუმენტს პროგრამული პროექტის დავაში, რათა გამოავლინოს წინააღმდეგობები მომწოდებლის პროგრესის ანგარიშებში, და გეგმავს კონფიდენციალურობის შესაბამისობას ვებსაიტისთვის, რომელიც სინგაპურში, მალაიზიასა და ინდონეზიაში უშვებს.

GLM-Legal-ის ბეტა ღიაა იურიდიული ფირმებისთვის, იურიდიული ტექნოლოგიების კომპანიებისთვის, შიდა იურიდიული გუნდებისთვის და დამოუკიდებელი პრაქტიკოსებისთვის API-წვდომისა და AutoClaw-ის მეშვეობით.

წყაროები: Z.Ai