Strands Agents випустила Strands Decider 2B, модель прийняття рішень з відкритим кодом

Strands Agents випустила Strands Decider 2B, невелику модель прийняття рішень з відкритим кодом, створену для швидких експериментів та локальної розробки. Модель на 2 мільярди параметрів здатна давати відповіді на значні питання за сотні мілісекунд на загальнодоступному залізі, а команда опублікувала код на GitHub, а ваги моделі, навчальні дані та скрипти — на Hugging Face.

Моделі прийняття рішень та LLM

Strands Decider належить до нового класу моделей, які іноді називають моделями прийняття рішень або моделями «системи один». На відміну від LLM, які генерують довільний текст, ці моделі обирають серед множини варіантів, наприклад, класифікують фразу як англійську, зулуську чи нідерландську, або оцінюють сентимент від 0 до 1. Намість гнучкості вони швидші та більш можливі за певного розміру, завжди повертають відповідь з обраних варіантів і працюють з дуже низькою затримкою.

Компроміс полягає в тому, що генерація всіх результатів одним паралельним проходом робить їх слабшими за моделі, що міркують над складними задачами, а нездатність генерувати текст виключає кодування, чат-ботів та підсумки документів. З іншого боку, кожному рішенню супроводжується оцінка впевненості, якої провідні LLM-інференс API не надають, і моделі дуже ефективно можуть відповідати на багато питань щодо одного й того самого промпту.

Архітектура та продуктивність

Модель починається з попередньо навченного тора Qwen3.5-2B, у якого видалено голову мовного моделювання, через що втрачається здатність генерувати текст. pointer head, параметрів якого трохи більше мільйона, оцінює прихований стан на позиції кожного варіанта щодо прихованого стану позиції відповіді, а тор налаштовується за допомогою rank-16 LoRA адаптера. Випущена модель — це 19-та версія; раніша архітектура з slot head працювала значно гірше, і репозиторій документально описує кожну зміну в ході ітерацій.

На публічному наборі JevBench Strands Decider 2B посідає третє місце серед 33 моделей класу 2B за точністю та калібровкою, виміряною оцінкою Brier, а серед 30 моделей — перше, якщо виключити моделі дещо більші за 2B. Медіанна затримка прийняття рішень на локальному Nvidia RTX 3090 становить приблизно 115 мілісекунд, а на M3 MacBook для малих завдань — приблизно 153 мілісекунди, і зростає приблизно лінійно зі збільшенням розміру завдання. Модель правильно відповідає на 100% простих завдань JevBench.

Як почати

Найпростіша точка входу — це strands-decider CLI, який встановлюється через pip install strands-decider. Команда strands-decider ask приймає стан, питання та множину варіантів і повертає оцінки ймовірності та значення впевненості для кожного варіанта. Репозиторій також містить приклад, де модель працює всередині Strands agent і перевіряє, чи заснований запропонований tool call на введенні користувача та чи не є він випадковим, використовуючи систему втручання фреймворку, щоб заблокувати або виправити виклик до його виконання.

Серед описаних командою ранніх випадків використання — маршрутизація моделей, вибір інструментів, оцінювання, захисні бар'єри, пам'ять, управління контекстом та класифікація політик, а також гібридні агенти, які використовують LLM для складних рішень, а моделі прийняття рішень — для рутинних. Команда Strands повідомляє, що працює над бібліотеками інтеграції моделей прийняття рішень.

Джерела: strandsagents.com