OpenAI-ը TypeSafe-ի Jev-ին Luna-ի վրա կառուցված Decisions API-ով պատասխանեց

OpenAI-ը երեքշաբթի օրը տարեկան DevDay կոնֆերանսում ներկայացրեց Decisions API-ն։ Սա ընկերության պատասխանն է որոշումների մոդելներին, որոնք վերջին ամիսներին հայտնի դարձան TypeSafe-ի Jev-ի շնորհիվ։ Նոր API-ն կառուցված է Luna մոդելի վրա, որն OpenAI-ի ընթացիկ շարքում ամենափոքրն ու ամենաէժանն է։

Ինչ է անում Decisions API-ն

Ի տարբերություն չատ մոդելների՝ որոշումների մոդելը տեքստ չի գրում։ Այն վերադարձնում է նախապես սահմանված պատասխաններից մեկը և դրան ավելացնում վստահության գնահատական։ Մշակողը մոդելին փոխանցում է հարցը, հնարավոր պատասխանները և համատեքստը, իսկ փոխարենը ստանում է գնահատական, որը կարելի է ուղղակիորեն օգտագործել հավելվածի տրամաբանության մեջ։

OpenAI-ի խոսքով՝ իր մոդելը արդյունքը վերադարձնում է 150 միլիվայրկյանում, մինչդեռ նույն առաջադրանքը GPT-6 Luna-ն կատարում է 1,6 վայրկյանում։ Հենց այդ արագությունն ու ավելի իրատեսական վստահության գնահատականներն են այդպիսի մոդելները օգտակար դարձնում բովանդակության դասակարգման, հարցումների ուղղորդման կամ այն բանի համար, որ գործակալը սահմանափակ տարբերակներից ընտրի հաջորդ գործողությունը։

Պրոմպտի և ուսուցանված դասակարգիչի միջև

Այսօր թիմերի մեծ մասը այս խնդիրը լուծում է սովորական չատ մոդելով և ուշադիր կազմված պրոմպտով․ մոդելից խնդրում է ցանկից ընտրել մեկ տարբերակ, ապա կարդում է թոքենների հավանականությունները, որպեսզի մոտավորապես որոշի վստահության գնահատականը։

Այլընտրանքը փոքր դասակարգիչ ուսուցանելն է։ Այն արագ է և էժան, բայց պահանջում է պիտակավորված տվյալներ և վերաուսուցում ամեն անգամ, երբ կատեգորիաների հավաքածուն փոխվում է։ Որոշումների մոդելը կանգնած է այս երկու տարբերակների միջև․ նոր կատեգորիաները փոխանցվում են պրոմպտում, իսկ պատասխանում վերադառնում է մշակողի համար օգտակար գնահատական։

OpenAI-ի համար սա լիովին նոր գաղափար չէ․ ընկերության Moderation API-ն վաղուց է տեքստի փոխարեն կատեգորիաներով գնահատականներ վերադարձնում, սակայն այնտեղ կատեգորիաները սահմանում է OpenAI-ը, այլ ոչ թե մշակողը։

Սահմանափակ հասանելիություն և բաց հարցեր

Ներկայում Decisions API-ն հասանելի է միայն սահմանափակ հասանելիությամբ, իսկ ամբողջական թողարկումը նախատեսված է առաջիկա օրերին։ OpenAI-ի ներկայացուցիչը The New Stack-ին ասել է, որ մանրամասները կհրապարակի «ամբողջական թողարկման ժամանակ»։

Անհայտ է, թե որքան կարժենա մեկ կանչը, քանի հնարավոր պատասխան է տեղավորում մեկ հարցումը և արդյոք մշակողները կկարողանան մոդելը հարմարեցնել իրենց տվյալներին։ Հենց այս երեք պատասխանները կորոշեն՝ Decisions API-ն կդառնա գործակալների ֆրեյմվորկների ստանդարտ մաս, թե չատ մոդելների կողքին կմնա որպես նեղ գործիք։