„ზოგჯერ უბრალოდ ცუდია“: ესე გაურკვეველი წარუმატებლობების ნორმალიზაციაზე

ბლოგზე ihatethefuture.com გამოქვეყნებული ესე, სათაურით „გაურკვეველი წარუმატებლობების ნორმალიზაცია“ (ავტორის ფსევდონიმი: patrickxia), Hacker News-ის მწვერვალზე ავიდა. ავტორი ამბობს, რომ LLM-ით დაჩქარებული დეველოპმენტის კულტურა იმ წარუმატებლობებს თანდათან ნორმად აქცევს, რომელთა ახსნასაც აღარავინ ცდილობს.

„stupid thing sucks“

ესე მულტფილმის ორი კადრით იწყება: პერსონაჟი კარზე გასვლას ცდილობს, კარი კი არ იღება. დაბრკოლება კონკრეტულია: ჯერ გზაზე ადამიანის სხეულია, შემდეგ დაახლოებით მილიარდი დოლარის ღირებულების ოქრო. ორივე შემთხვევაში გაღიზიანებული პერსონაჟი ბუტბუტებს: „stupid thing sucks“ („სულელური რამ ცუდია“) და გზას აგრძელებს. ავტორისთვის ეს კარების გონივრული მოდელი არ არის: მარცხს ხელშესახები მიზეზი ჰქონდა, ბრალდება კი არასწორ ობიექტს დააკისრა.

Jev და „AI-powered“ ნიშნული

შემდეგ ტექსტი Jev-ზე გადადის: TypeSafe AI-ის მოდელი ტიპიზებულ მნიშვნელობებს ალბათობის შეფასებებთან ერთად აბრუნებს, და ასეთი დიზაინი AI-ზე დაფუძნებული პროდუქტების გუნდებში აქტიური განხილვის თემაა. ავტორის თქმით, ღირსებები სიჩქარე და სიიაფეა. საკითხავი ისაა, რა ხდება აწყობის შემდეგ. მისივე აღწერით, მყიდველები თითქმის არ ატარებენ გამოკვლევებს (evals): Jev-ს გაურკვეველ კითხვებს უსვამენ, გაურკვეველ პასუხებს იღებენ და „AI-powered“ ნიშნულის მონიშვნას ახერხებენ. სისტემა რომ ფუჭდება, ახსნად რჩება „რა ვქნათ, AI შეცდომებს უშვებს“, შეცდომების ბიუჯეტსა და ტესტების ნაკრებს კი მოგვიანებით მიხედავენ. წარუმატებლობის მაჩვენებელს საბოლოოდ მომხმარებელი აღმოაჩენს.

ესე მოსალოდნელ დაცვას წინასწარ პასუხობს: Jev ხომ სანდოობის ქულებს აბრუნებს. რას იზამთ ამ ქულით? ავტორის აზრით, ქულაზე დასაყრდნობად უნდა იცოდეთ, რამდენად კარგად არის კალიბრირებული ეს ქულა, და წარმოდგენა გქონდეთ გაურკვევლობის ფასზე. საუკეთესო შემთხვევაში ხალხი ქულებს კარგო-კულტივით იყენებს, ყველაზე ცუდში კი მათ წარუმატებელი გამოძახების გამართლებად მოიხმობს: თითქოს „73% დარწმუნებული“ პასუხი 27% შეცდომის ბიუჯეტს ნიშნავდეს.

პასუხისმგებლობა და გამოძიების დასასრული

როცა საიტზე ღილაკი წყვეტს მუშაობას, ინჟინერს, როგორც წესი, წარმოდგენა აქვს, რა უნდა მომხდარიყო: კონტრაქტი დაირღვა, DNS შეცდა, ვიღაცამ ისეთი სკრიპტი გაუშვა, რომელსაც ერთ კონკრეტულ გზაზე სინტაქსური ხარვეზები აქვს, დამუშავების ფუნქციამ კი მოულოდნელი გამონაკლისი გამოისროლა. შიშველი HTTP 500 შეცდომის გამართვის წვდომა შეიძლება არ არსებობდეს, მაგრამ ვიღაცის საქმე მაინც არის გაიგოს, რატომ ვერ მუშაობს ეს მისამართი. ბევრი მომხმარებლის რეალობა კი სულ სხვაა: „ზოგჯერ უბრალოდ ცუდია“.

ესეს მთავარი შიში იმაში არ არის, რომ LLM-ით დაჩქარებული დეველოპმენტი მეტ წარუმატებლობას გამოიწვევს. გამოიწვევს კიდეც, უკვე იწვევს, და ეს ახლებურად აშენების ფასის ნაწილია. შიში ის არის, რომ „ზოგჯერ უბრალოდ ცუდია“ სულ უფრო ხშირად გახდება თავად გამოძიების საბოლოო წერტილი. ავტორის თქმით, ეს დანაკარგია, რადგან დაჩქარებულ მუშაობას ამ პრობლემების გადაჭრაც შეუძლია: ავტომატური ხარისხის შემოწმების პროცესები ინჟინრების დროის უქონლობის გამო არ იწერება, ხოლო გამოკვლევა, რომელიც Jev-ს ჩაანაცვლებდა ან მის გამოყენებას გაამართლებდა, „რამდენიმე პრომპტის მანძილზეა“. ტექსტი მეტაფორით სრულდება: ისეთ სისტემებს ვქმნით, სადაც არც მომხმარებელს და არც შემქმნელს არ აინტერესებს, კარს მიღმა სხეული ხომ არ არის.