O que é Segurança de Agentes de IA Gerenciados

Visão geral

A Segurança de IA para Agentes Gerenciados permite que você descubra, rastreie e proteja agentes de IA que rodam em plataformas de IA gerenciadas, como AWS Bedrock, Azure AI Foundry e Microsoft Copilot Studio. Você obtém visibilidade sobre quais agentes existem, quais fontes de dados e ferramentas eles podem acessar e como se comportam em tempo de execução. 

Plataformas gerenciadas fornecem a infraestrutura para criar, implantar e escalar agentes de IA - mas também introduzem um conjunto distinto de desafios de segurança e governança. As organizações muitas vezes carecem de uma visibilidade centralizada sobre quais agentes existem nessas plataformas, quais dados e ferramentas eles podem acessar e como se comportam em tempo de execução.

A Segurança de IA para Agentes Gerenciados ajuda a reduzir o risco de acesso não autorizado, exposição de dados sensíveis e ações inseguras dos agentes, enquanto apoia os requisitos de governança e conformidade.

Casos de Uso

Descobrindo Agentes Gerenciados

O primeiro passo para proteger agentes gerenciados é saber o que existe. A Cato se conecta a plataformas de IA gerenciadas via API e descobre automaticamente todos os agentes implantados dentro do ambiente. Para cada agente, o sistema coleta um inventário abrangente que inclui o nome, propósito e instruções de configuração do agente, suas ferramentas e conectores conectados, suas bases de conhecimento e fontes de dados, e as permissões e controles de acesso atribuídos a ele.

Rastreando Atividades de IA Agêncica

Plataformas de IA gerenciadas geram dados de rastreamento à medida que os agentes executam - registrando a sequência de prompts, respostas de modelo, invocações de ferramentas e resultados que compõem cada sessão do agente. A Cato consulta esses dados de rastreamento diretamente da plataforma e os transmite para o painel de IA Agêncica, fornecendo visibilidade em tempo real de como os agentes gerenciados estão realmente se comportando em produção.

O rastreamento captura o ciclo de vida completo de uma interação com um agente: o que o usuário pediu, como o modelo respondeu, quais ferramentas o agente invocou (e com quais parâmetros), o que essas ferramentas retornaram e como o agente usou os resultados das ferramentas para formular sua saída final. Este nível de detalhe é essencial para entender o comportamento agêntico, pois, ao contrário de um chatbot simples, um agente pode executar uma cadeia de múltiplas chamadas de ferramentas, cada uma se baseando no resultado anterior, antes de produzir uma resposta. Uma única solicitação de usuário pode desencadear uma sequência complexa de ações que seriam invisíveis sem rastreamento.

Para equipes de segurança e conformidade, o rastreamento fornece as evidências necessárias para investigação de incidentes e auditoria. Se um agente gerenciado acessar dados que não deveria, fizer uma chamada de ferramenta inesperada ou produzir uma saída que viole a política, o registro de rastreamento mostra exatamente o que aconteceu, passo a passo. Isso também é inestimável para entender o raio de explosão de um incidente: o rastreamento revela não apenas o que deu errado, mas quais dados foram tocados e quais ações foram tomadas ao longo do caminho.

Proteção via Integração de Firewall de IA

Descoberta e rastreamento fornecem visibilidade, mas as organizações também precisam de proteção ativa para seus agentes gerenciados. A Cato consegue isso transmitindo as invocações de agentes rastreados para o Firewall de IA (AI-FW), onde são avaliados em relação às mesmas Guardas e políticas usadas no restante da pilha de segurança do agente.

Esta integração significa que cada prompt, resposta de modelo, chamada de ferramenta e mensagem de ferramenta que passa por um agente gerenciado é inspecionada pelo motor AI-FW. O motor aplica modelos de detecção para injeção de prompt, tentativas de jailbreak, exposição de dados sensíveis e violações de política, a mesma inspeção em quatro pontos que protege agentes locais e personalizados. Quando o AI-FW detecta uma ameaça, ele pode alertar a equipe de segurança, registrar o evento para fins de conformidade ou, dependendo do modo de integração e aplicação, bloquear a interação de violação.