Фреймворк Amazon для создания надежных ИИ-агентов

ИИ-агенты становятся все более искусными в автономном выполнении бизнес-задач, однако ИТ-лидеры с осторожностью предоставляют им права доступа к корпоративным системам. 

Часть проблемы заключается в том, как измеряется надежность ИИ. Отраслевые стандарты часто опираются на оценки EVAL, которые дают лишь статичный снимок производительности, а не показатель общей надежности. По словам Брайана Сильверторна (Bryan Silverthorn), директора исследовательской лаборатории AGI Autonomy в Amazon, эти метрики не способны отразить предсказуемость в различных сценариях запросов, средах и типах входных данных.

Исследовательская лаборатория автономных систем AGI в Amazon отказывается от простых бенчмарков производительности, сосредоточившись вместо этого на структурированной концепции, в основе которой лежат согласованность, надежность, предсказуемость и безопасность, рассказал Сильверторн в интервью VentureBeat в преддверии своего выступления на конференции VB Transform 2026.

Вместо того чтобы полагаться исключительно на встроенные в модели механизмы безопасности, подход Amazon делает упор на разделенные системы — например, изолированные среды (песочницы), где агенты предлагают изменения, которые перед внедрением проверяются людьми. 

Эта стратегия призвана преодолеть дефицит доверия за счет приоритезации проверяемых взаимодействий, даже в таких критически важных областях, как финансы, где потенциальный ущерб от действий агента может быть весьма значительным.

Согласно результатам опроса VentureBeat Q2 Pulse Research, в котором приняли участие более 100 топ-менеджеров и ИТ-покупателей, лишь 4% респондентов готовы полагаться исключительно на защитные механизмы моделей (guardrails). На вопрос о том, что больше всего беспокоит их в защитных барьерах моделей, 40% ответили «несанкционированный доступ к инструментам или данным», а 27% указали на «манипулирование запросами или инъекции».

На конференции VB Transform Сильверторн поделится подробностями подхода Amazon к созданию надежного агентного ИИ, а также расскажет о том, как компаниям перейти от простых оберток для одиночных агентов к многоинструментальным архитектурам, способным к самокоррекции в процессе выполнения задач. Его выступление озаглавлено «Преодоление разрыва между возможностями и надежностью: Внутри фреймворка Amazon для разработки надежных агентов» (Closing the capability-reliability gap: Inside Amazon’s framework for engineering trustworthy agents).

Еще одна сессия, посвященная агентным операциям и оценкам (evals) на флагманской конференции VentureBeat, которая пройдет 14 и 15 июля в Менло-Парке, называется «Интеллект в масштабе: Как Waymo создает безопасный и эффективный ИИ для физического мира» (Intelligence at scale: How Waymo builds safe, efficient AI for the physical world). В ней примет участие Манаси Джоши (Manasi Joshi), директор по системному интеллекту и машинному обучению в Waymo. 

Хотите посетить VB Transform 2026? Ограниченное число бесплатных пропусков также доступно руководителям высшего звена в сфере технологий. Свяжитесь с нами, чтобы получить свой. Вы также можете приобрести билеты здесь.