Thinking Machines-ის Inkling 2 Small-მა ბენჩმარკულ გაშვებებში 316-ჯერ F-სიტყვა გამოიყენა

Vals AI-ის მკვლევარების ცნობით, Thinking Machines-ის Inkling 2 Small-მა ბენჩმარკული ტესტირების დროს საკუთარ შიდა აზროვნების ჯაჭვში უხამსი ლექსიკა გამოიყენა. მათ გადახედეს მოდელის აზროვნების ლოგებს, რომლებიც 13 ბენჩმარკზე 2 655 გაშვებიდან იყო მიღებული, და აღმოაჩინეს „fuck“ ან მისი ვარიანტები 50 გაშვებაში, სულ 316 შემთხვევაში. უხამსი სიტყვები ჩვეულებრივ ჩნდება მოდელის საკუთარ შეცდომებთან, თითქოსდა გარღვევებთან ან იმ მომენტებთან დაკავშირებით, როცა ის ნებდება.

ბენჩმარკული გაშვებები და კონტროლიდან გასული პასუხები

უხამსი ლექსიკის უმეტესი ნაწილი ორ გაშვებაზე მოდის, რომლებიც კონტროლიდან გავიდა და 316 შემთხვევიდან 241-ს შეადგენს. ერთ გაშვებაში მოდელს ასტეროიდის ტრაექტორიის გამოთვლა დაევალა, და მან 500 000 სიმბოლოიანი ერთი პასუხი გამოიმუშავა, დაახლოებით რომანის სიგრძის, სადაც ერთი და იგივე წინადადებები 158 უხამსი სიტყვით მეორდებოდა. ProgramBench ყველაზე მეტად დაზარალებული ბენჩმარკი აღმოჩნდა: 200 გაშვებიდან 20-ში ეს ლექსიკა გვხვდებოდა.

უხამსი ლექსიკა მოდელის აზროვნებაში

Inkling 2 Small ჩვეულებრივ იგინება საკუთარი შეცდომების, თითქოსდა გარღვევების ან იმ მომენტების გამო, როცა ნებდება. ერთ გაშვებაში ეწერა: „FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.“ უხამსი ლექსიკა გამაფრთხილებელი სიგნალის ფუნქციას არ ასრულებს. მართალია, უხამსი სიტყვების მქონე 48 შეფასებული გაშვებიდან 46 ჩავარდა, მაგრამ ყველა შეფასებული გაშვების დაახლოებით 75 პროცენტი მაინც ჩავარდა, ხოლო წარუმატებელი გაშვებების 96 პროცენტში უხამსი სიტყვები საერთოდ არ ყოფილა.

მომხმარებლები და ხილული აზროვნების ნაბიჯები

მომხმარებლები ჩვეულებრივ ვერ ხედავენ ამ აზროვნების ნაბიჯებს ან ხედავენ მხოლოდ ფილტრის საშუალებით. დასკვნები მოდელის შიდა ლოგების გადახედვიდან მომდინარეობს და არა მომხმარებლისთვის განკუთვნილი ჩვეულებრივი პასუხებიდან.

წყაროები: The Decoder