Ինժեներ. LLM-ների հետ աշխատելիս գլխավոր հմտությունը ոլորտային փորձաքննությունն է

2026 թվականի հուլիսի 24-ին հրապարակված գրառման մեջ ծրագրային ինժեներ և բլոգեր Շոն Գեդեկեն պնդում է, որ մեծ լեզվական մոդելների հետ աշխատելիս ամենակարևոր հմտությունը պրոմփթի հնարքները չեն, այլ այն ոլորտի փորձաքննությունը, որի վերաբերյալ հարցնում եք։

Ինչու է թվում, թե հմտություն պետք չէ

Գեդեկեն հիշում է 2010-ականները. եթե տեխնիկական բաց ունեիր — օրինակ, չէիր կարողանում CSS գրել — պետք է ապավինեիր փորձառու գործընկերոջը կամ հույս դնեիր, որ քո խնդրի ճշգրիտ պատասխանը ինչ-որ տեղ արդեն կա համացանցում։ Այսօր, գրում է նա, ցանկացած ոք կարող է «մոտավորապես նորմալ» CSS ստանալ՝ խնդիրը LLM-ին պատվիրելով։ Մոդելները «բոլորին ընդհանուր մասնագետ են դարձնում», և դրա պատճառով շատերը եզրակացնում են, թե այստեղ հմտություն ընդհանրապես չկա. բոլորը խոսում են նույն մոդելների հետ, ուստի «հմուտ պրոմփթերները» կարծես նույն արդյունքն են ստանում, ինչ սկսնակները։

Թաուի զրույցը որպես օրինակ

Հեղինակի հակաօրինակը մաթեմատիկոս Թերենս Թաուի զրույցն է ChatGPT-ի հետ Յակոբիի վարկածի վերջերս հայտնաբերված հակաօրինակի շուրջ։ Գեդեկեն նշում է, որ Թաուի հաղորդագրությունները կարճ են ու գործին միտված, որ մոդելի պատասխանները շատ ավելի լակոնիկ են, քան իր իսկ փորձերում (փորձաքննության ազդանշանը մոդելին տեղափոխում է «մաթեմատիկոսների հետ խոսելու» ռեժիմ), որ Թաուն առարկում է կասկածելի պատասխաններին առանց ուղղակի հակաճառության («սա ավելի բարդ է թվում, քան սպասում էի»), և որ նա գրեթե երբեք չի հետևում մոդելի խորհրդին, թե ուր գնալ հետո։

Սակայն այդ սովորությունները պարզապես պատճենել հնարավոր չէ. Թաուի իսկական առավելությունը մաթեմատիկայի ըմբռնումն է՝ բազմապարբերական պատասխանից համապատասխան գաղափարը հանելը, այլընտրանքային ձևակերպումներ առաջարկելը, նկատելը, թե ինչն է «տարօրինակ», և կոնկրետ հարցեր տալը, օրինակ՝ «X-ն այստեղ աշխատում է՞», կամ «Եթե Y-ն ու Z-ը կան, ինչու՞ A»։

Փորձաքննությունը որպես արգելք

Հեղինակը նույն ազդեցությունը նկատում է նաև իր աշխատանքում. կոդի բազայի լավ մտավոր մոդելը ինժեներին թույլ է տալիս մոդելին շատ ավելի խստորեն ուղղորդել՝ «այստեղ ավելի պարզ չի՞ լինի», «չէ՞ որ X-ն արդեն ունենք»։ Առանց ոլորտային իմացության էլ կարելի է ինչ-որ բան ստանալ LLM-ից, սակայն գիտելիքով նույն մոդելից կարելի է շատ ավելի արժեք քաղել։

Եզրակացությունը. մարդկային փորձաքննությունը օգտակար կմնա նաև մոդելների ուժեղացման հետ, իսկ շատ խնդիրներում «արգելքը մարդն է, ոչ թե մոդելը», որովհետև ամենադժվարը հենց այն հաղորդելն է, թե ինչպիսի լուծում է պետք։ Գրառման հավելվածում նա նշում է, որ տեքստը Hacker News-ում բազմաթիվ մեկնաբանություններ է ստացել, այդ թվում՝ թերահավատների, որոնց այս փաստարկը չափից դուրս հանգստացնող է թվում. նրանց, ովքեր ասում են, թե OpenAI-ի մաթեմատիկական հայտնագործությունները փորձաքննություն չեն պահանջել, նա պատասխանում է, որ մաթեմատիկոսների փորձագիտական թիմը ստուգել և զտել է մոդելի առաջարկած արդյունքները, և այդ քայլը, նրա կարծիքով, այսօր չի կարելի բաց թողնել։