Amazon Bedrock додає структуровані виводи для моделей Anthropic Claude

Що нового

Amazon Bedrock тепер підтримує структуровані виводи для всіх моделей Anthropic Claude на обох кінцевих точках bedrock-runtime та bedrock-mantle. Розробники можуть отримувати відповіді у форматі JSON, що відповідають схемі та визначеній структурі, без власного парсингу, логіки повторних спроб або постобробки.

Доступні два взаємодоповнюючі механізми: формат виводу JSON Schema для контролю структури відповіді при видобуванні даних та генерації звітів, і суворе використання інструментів для перевірки параметрів інструментів в агентних робочих процесах та багатокроковій автоматизації.

Як це працює

Структуровані виводи використовують обмежене декодування для застосування JSON-схем під час генерації токенів, а не після неї. Amazon Bedrock перевіряє схеми на відповідність підмножині JSON Schema Draft 2020-12, компілює граматичний артефакт для нових схем і кешує скомпільовані граматики на 24 години в межах облікового запису. Зміна структури схеми інвалідізує кеш, тоді як зміна лише полів імені або опису залишає його недоторканим.

Функція працює з пакетним інференсом, міжрегіональним інференсом на bedrock-runtime і підтримує потокові структуровані відповіді у вигляді типізованих подій.

Варіанти використання та приклади

Практичні застосування включають видобування полів з фінансових звітів та документів відповідності, розбір клінічних записів у системи EHR, аналіз договорів і маршрутизацію заявок підтримки. Приклад використання API InvokeModel з Claude Sonnet 5.5 демонструє видобування даних лідів з електронного листа клієнта у перевірені поля JSON.

Суворе використання інструментів на bedrock-mantle гарантує, що параметри інструментів точно відповідають вхідним схемам. Встановлення strict на true обмежує вхідні дані інструментів так, що модель не може додавати поля поза схемою, що є цінним для агентних робочих процесів з серверними інструментами.

Вимоги та найкращі практики

Розробники повинні встановити additionalProperties на false для всіх об'єктів. Найкращі практики включають використання описових імен полів, застосування enum для обмежених значень, початок з базових схем, повторне використання схем для отримання переваг кешування, перевірку stop reasons у кожній відповіді та тестування з реалістичними даними перед розгортанням.

Підтримувані функції включають базові типи, enum, const, anyOf, allOf з обмеженнями, внутрішні посилання та різні формати рядків. Рекурсивні схеми, зовнішні посилання та числові або рядкові обмеження не застосовуються під час генерації.

Структуровані виводи для Claude на Amazon Bedrock тепер загальнодоступні.

Джерела: AWS Machine Learning Blog