代理的人工智能安全性是什么

概述

代理的人工智能安全性让您能够在不丢失对数据访问、工具使用和操作执行的可见性和控制的情况下，在组织中安全地采用人工智能代理。您可以保护代理的工作流程免受提示注入、未经授权的数据访问、敏感数据暴露以及其他可能导致安全或合规风险的滥用。

Cato 将人工智能代理分为以下类别：

本地代理通常运行在用户端点上，大多由第三方提供。托管代理通常是低代码或无代码代理，由云平台和 SaaS 提供商提供。自定义代理是完全编码的代理，您可以在端点或云环境中构建和运行。

代理的人工智能安全性为您提供了一种统一的方法来监控和管理您管理的环境中的这些代理类型。这有助于您在部署人工智能代理时保持策略执行、降低操作风险并支持您的合规性要求。

自主运行并与工具、数据和外部系统交互的人工智能代理引入了超出传统人工智能聊天机器人威胁的独特安全、合规和治理风险：

面向人工智能的攻击 - 包括:提示注入、越狱尝试和多轮攻击，旨在操纵代理行为。与聊天机器人不同，代理也可以通过他们的工具响应（间接提示注入）被攻击，其中工具输出中的恶意负载可以劫持代理的操作。
数据外泄 - 拥有对代码库、内部 API、CRM 系统或文件系统访问权限的代理。这些代理可能无意或恶意地通过工具调用或模型输出泄露敏感数据，例如源代码、凭据、个人身份标识符或财务数据。
影子代理 - 员工未经 IT 批准安装的代理可能不受管理或未经授权，这在安全态势中造成盲点。这包括未经企业许可或安全控制正在运行的个人编码助手实例。
MCP 服务器风险 - 恶意或配置错误的 MCP 服务器可能会暴露敏感数据、执行未经授权的命令或在代理的工作流程中引入漏洞。
合规性违规 - 未能满足对人工智能系统（如欧盟人工智能法案）或管理代码生成、数据处理和自动化决策的内部政策的监管要求。
治理差距 - 缺乏对部署了哪些代理、它们连接到哪些工具以及它们可以访问哪些数据的可见性，使得在整个组织中执行一致的安全策略变得不可能。