Узкое место ИИ-агентов — вовсе не производительность моделей, а разрешения

Узкое место ИИ-агентов — вовсе не производительность моделей, а разрешения

Корпоративные ИИ-агенты буксуют — не из-за производительности моделей, а из-за системы разграничения прав доступа. Любой рабочий процесс с участием агентов рано или поздно упирается в одну и ту же стену: к чему этому агенту разрешено прикасаться, от чьего имени и откуда система это знает?

Ответ компании Workday заключается в том, чтобы сделать существующую систему учета основой для управления агентами ( governance-слоем). Геррит Кацмайер (Gerrit Kazmaier), президент компании по продуктам и технологиям, рассказал в интервью VentureBeat, что клиенты часто сталкиваются с трудностями, когда пытаются самостоятельно сшить решения для своих агентов. 

«Sana гарантирует неукоснительное соблюдение целостности процессов утверждения и модели безопасности, — отметил Кацмайер. — Честно говоря, именно с этим мы видим проблемы у клиентов, когда они пытаются создать ИИ своими силами, просто получая доступ к «сырым» данным, из-за чего богатство модели безопасности теряется, а результаты становятся чрезмерно широкими».

Компания Workday, которая запустила Sana в марте, расширила партнерство с Google, чтобы интегрировать свою систему учета агентских данных Sana в Gemini Enterprise — таким образом, агенты, созданные на базе Sana, также доступны для обнаружения там.

Архитектурное обеспечение точности

Кацмайер сообщил, что главной трудностью для них стало обеспечение точности работы агентов, особенно для пользователей из сферы HR и финансов. 

«Вариант „почти правильно“ здесь неприемлем, — подчеркнул Кацмайер. — Представьте себе правильный расчет зарплаты, закрытие бухгалтерских книг или надежное управление рабочим графиком».  

Точность здесь оценивать сложнее, чем в большинстве других контекстов ИИ. Настройки политик, ролевая безопасность и организационные иерархии тесно переплетены — любая небольшая ошибка ведет к кумулятивному эффекту. И в отличие от большинства результатов генеративного ИИ, запросы в сфере HR и финансов часто не предполагают цикла исправления. К тому моменту, когда зарплатная ведомость будет обработана с ошибкой или собеседование будет назначено неверно, ущерб уже будет нанесен.

Workday решила эту проблему, встроив Gemini в качестве базового уровня логического выводов (reasoning layer), а поверх него добавив свой контекстный движок и логику бизнес-процессов. Компания также добавила модели верификации и классификации, которые «допрашивают» результаты перед их выполнением. 

Как выясняется, точность и идентичность — это один и тот же вопрос: достаточно ли у системы информации об агенте, авторизующем человеке и текущем состоянии записи, чтобы действовать правильно?

Преимущество Workday заключается в том, что компания может выводить организационную структуру клиентов на основе предоставляемых ими данных. Сторонние провайдеры идентификации, такие как Okta, уже проверяют свою информацию путем сверки с Workday, поэтому именно ее контекст является системой учета для многих предприятий. Кацмайер рассказал, что агент самообслуживания Sana использует Gemini в качестве разговорного интерфейса для запуска рабочего процесса. Затем пользователь проходит аутентификацию и авторизацию через модель идентификации и безопасности Workday. Агенты Sana будут действовать исключительно от имени этого пользователя и в рамках его текущих прав доступа. 

Журналы аудита (audit trails) следуют той же логике: Gemini хранит только логи взаимодействия, в то время как основной аудит остается внутри Workday и ее клиента. 

Для многих специалистов в области HR и финансов наличие слоя разрешений и управления в системе учета агентов имеет ключевое значение в регулируемых отраслях. 

«Это должно существовать внутри системы учета, это не вопрос предпочтений, это единственный способ заставить систему работать, — написал в письме VentureBeat Дэн Обендорфер (Dan Obendorfer), директор по продуктам в Würk. — Если ваши права доступа определяются где-то за пределами того места, где реально живут данные, вы уже проиграли».

Кадан Штадельман (Kadan Stadelmann), технический директор и соучредитель Compance.AI, высказал аналогичную мысль отдельно: «Без владения агентом, контроля его производительности, затрат или действий неизбежно наступает хаос».

Оркестрация

Смотреть все

Подпишитесь на свежие новости!

Глубокая аналитика для руководителей в области корпоративного ИИ, данных и безопасности

Подписаться по RSS

RSS-ленты обновляются каждые 15 минут.