Բլոգ

Parsimony նոր բենչմարկը գնահատում է AI կոդավորման գործակալներին՝ ավելացված կոդի հիման վրա

Parsimony-ն բենչմարկ է, որը չափում է, թե որքան կոդ են ավելացնում AI կոդավորման գործակալները խնդիրը լուծելիս։ Այն հաշվում է շարահյուսական միավորները՝ ոչ թե տողերը, հանում է ջնջված կոդը և մոդելները դասավորում SWE-bench Verified-ում՝ միջին զուտ միավորներով։