관리형 AI 에이전트 보안이 무엇입니까

개요

관리형 에이전트를 위한 AI 보안은 AWS Bedrock, Azure AI Foundry 및 Microsoft Copilot Studio와 같은 관리형 AI 플랫폼에서 실행되는 AI 에이전트를 발견, 추적 및 보호할 수 있게 해줍니다. 에이전트가 존재하며, 어떠한 데이터 소스와 도구를 접근할 수 있는지, 실행 중일 때 어떻게 행동하는지를 알아볼 수 있습니다. 

관리형 플랫폼은 AI 에이전트를 생성, 배포 및 확장하기 위한 인프라를 제공하지만, 보안 및 관리 문제를 위한 별개의 집합을 소개하기도 합니다. 조직은 이들 플랫폼을 가로질러 존재하는 에이전트, 어떤 데이터와 도구에 접근할 수 있는지, 그리고 실행 중에 어떻게 행동하는지를 중앙에서 인식하는 경우가 종종 부족합니다.

관리형 에이전트를 위한 AI 보안은 무단 접근, 민감한 데이터 노출 및 안전하지 않은 에이전트 행동의 위험을 줄이는 데 도움이 되며, 관리 및 준수 요구를 지원합니다.

사용 사례

관리형 에이전트 발견

관리형 에이전트를 확보하는 첫 번째 단계는 무엇이 존재하는지 아는 것입니다. Cato는 API를 통해 관리형 AI 플랫폼에 연결하고 환경 내에 배포된 모든 에이전트를 자동으로 발견합니다. 각 에이전트에 대해 시스템은 에이전트의 이름, 목적 및 구성 지침, 연결된 도구 및 커넥터, 지식 기반 및 데이터 소스, 할당된 권한 및 접근 제어를 포함하는 포괄적인 인벤토리를 수집합니다.

에이전틱 AI 활동 추적

관리형 AI 플랫폼은 에이전트 실행 시 추적 데이터를 생성합니다 - 각 에이전트 세션을 구성하는 프롬프트 시퀀스, 모델 응답, 도구 호출 및 결과를 기록합니다. Cato는 이 추적 데이터를 플랫폼에서 직접 쿼리하고 에이전틱 AI 대시보드로 스트리밍하여, 관리형 에이전트가 실제로 프로덕션에서 어떻게 행동하는지에 대한 실시간 가시성을 제공합니다.

추적은 에이전트 상호작용의 전체 생애주기를 캡처합니다: 사용자가 요청한 내용, 모델이 어떻게 응답했는지, 에이전트가 어떤 도구를 호출했는지 (어떤 매개변수로), 그 도구가 반환한 내용은 무엇인지, 그리고 에이전트가 도구 결과를 어떻게 사용하여 최종 출력을 형성했는지 제공합니다. 이 정도의 세부정보는 에이전틱 행동을 이해하는 데 필수적입니다. 이것은 단순한 챗봇처럼 에이전트가 여러 도구 호출을 실행할 수도 있으므로 각 결과가 이전 결과를 바탕으로 응답을 생성하기 전에 실행됩니다. 단일 사용자 요청은 추적 없이는 보이지 않는 복잡한 작업 시퀀스를 트리거할 수 있습니다.

보안 및 준수 팀에게 있어, 추적은 사건 조사 및 감사에 필요한 증거를 제공합니다. 관리형 에이전트가 접근해서는 안 될 데이터를 액세스하거나, 예기치 않은 도구 호출을 하거나, 정책을 위반하는 출력을 생성할 경우, 추적 기록은 정확히 무슨 일이 있었는지를 단계별로 보여줍니다. 이는 사건의 폭발 반경을 이해하는 데도 귀중합니다: 추적은 무엇이 잘못되었는지만 보여주는 것이 아니라 어떤 데이터가 사용되었고 어떤 행동이 진행되었는지를 보여줍니다.

AI 방화벽 통합을 통한 보호

발견과 추적은 가시성을 제공하지만, 조직은 관리형 에이전트에 대한 능동적인 보호도 필요합니다. Cato는 추적된 에이전트 호출을 AI-FW (AI 방화벽)로 스트리밍하여 전체 에이전트 보안 스택을 가로지르는 동일한 보호와 정책을 평가합니다.

이 통합은 관리형 에이전트를 통해 흐르는 모든 프롬프트, 모델 응답, 도구 호출 및 도구 메시지가 AI-FW 엔진에 의해 조사됨을 나타냅니다. 엔진은 로컬 및 맞춤형 에이전트를 보호하는 동일한 4점 검사를 통해 프롬프트 주입, 탈옥 시도, 민감한 데이터 노출 및 정책 위반을 위한 감지 모델을 적용합니다. AI-FW가 위협을 감지하면 보안 팀에게 알리고, 준수 목적을 위한 이벤트를 기록하거나, 통합 및 집행 모드에 따라 위반된 상호작용을 차단할 수 있습니다.