Что такое Безопасность управляемых AI агентов

Обзор

Безопасность AI для управляемых агентов позволяет обнаруживать, отслеживать и защищать AI агентов, работающих на управляемых AI платформах, таких как AWS Bedrock, Azure AI Foundry и Microsoft Copilot Studio. Вы получаете видимость, какие агенты существуют, к каким источникам данных и инструментам они могут получить доступ и как они себя ведут во время выполнения. 

Управляемые платформы предоставляют инфраструктуру для создания, развертывания и масштабирования AI агентов, но они также вводят уникальный набор проблем безопасности и управления. Организациям часто не хватает централизованной видимости, чтобы понимать, какие агенты существуют на этих платформах, к каким данным и инструментам они имеют доступ, и как они ведут себя во время выполнения.

Безопасность AI для управляемых агентов помогает снизить риск несанкционированного доступа, утечки конфиденциальных данных и небезопасных действий агентов, поддерживая требования к управлению и соответствию.

Сценарии использования

Обнаружение управляемых агентов

Первый шаг в обеспечении безопасности управляемых агентов - знать, что существует. Cato подключается к управляемым AI платформам через API и автоматически обнаруживает всех агентов, развернутых в среде. Для каждого агента система собирает полную инвентаризацию, включающую имя агента, его назначение и инструкции по конфигурации, подключённые инструменты и коннекторы, базы знаний и источники данных, а также назначенные ему разрешения и контроль доступа.

Трассировка активности Agentic AI

Управляемые AI платформы генерируют данные трассировки по мере выполнения агентами - записывая последовательность запросов, ответов моделей, вызовов инструментов и результатов, составляющих каждую сессию агента. Cato запрашивает эти данные трассировки непосредственно из платформы и передаёт их в панель управления Agentic AI, обеспечивая видимость в реальном времени того, как управляемые агенты ведут себя в действительности.

Трассировка захватывает полный жизненный цикл взаимодействия агента: что пользователь спросил, как модель ответила, какие инструменты агент вызвал (и с какими параметрами), что эти инструменты вернули, и как агент использовал результаты инструментов для формулирования конечного вывода. Этот уровень детализации необходим для понимания агентского поведения, поскольку, в отличие от простого чат-бота, агент может выполнить цепочку из нескольких вызовов инструментов, каждый из которых строится на предыдущем результате, прежде чем выдать ответ. Один пользовательский запрос может вызвать сложную последовательность действий, которые останутся невидимыми без трассировки.

Для команд безопасности и соответствия трассировка предоставляет доказательства, необходимые для расследования инцидентов и аудита. Если управляемый агент получает доступ к данным, к которым он не должен был иметь доступ, вызывает неожиданный инструмент или выдает результат, нарушающий политику, запись трассировки показывает, что именно произошло - шаг за шагом. Это также неоценимо для понимания охвата инцидента: трассировка показывает не только, что пошло не так, но и какие данные были затронуты и какие действия были предприняты по пути.

Защита через интеграцию с AI Firewall

Обнаружение и трассировка обеспечивают видимость, но организациям также нужна активная защита для их управляемых агентов. Cato достигает этого, отправляя данные о вызовах агентов, которые были отслежены, в AI Firewall (AI-FW), где они оцениваются по тем же Защитам и политикам, которые используются в остальной части стека безопасности агентов.

Эта интеграция означает, что каждый запрос, ответ модели, вызов инструмента и сообщение инструмента, проходящие через управляемый агент, проверяются движком AI-FW. Движок применяет модели обнаружения для инъекций запросов, попыток побега, раскрытия конфиденциальных данных и нарушений политики, то же самое четырехточечное инспектирование, которое защищает локальные и пользовательские агенты. Когда AI-FW обнаруживает угрозу, он может уведомить команду безопасности, зафиксировать событие для целей соответствия или, в зависимости от режима интеграции и применения, заблокировать взаимодействие, нарушающее политику.