カスタムAIエージェントセキュリティとは

概要

カスタムAIエージェントは、AI駆動のワークフローをコードで構築し、内部システム、データベース、サードパーティのサービスに直接接続することができます。 組織は通常、これらのエージェントをLangChain、OpenAIエージェントSDK、またはLLMプロバイダーへの直接API呼び出しを使用して構築します。 これらのエージェントは企業のワークフローに深く統合されており、しばしば機密データやツールへのアクセスを持つため、実行時の可視性と保護が求められます。

エージェント用AIセキュリティは、Cato AIファイアウォール（AI-FW）とのSDKレベルでの直接統合を通じてカスタムエージェントを保護します。 開発者は、コードの最小限の変更でカスタムエージェントをAI-FWに接続でき、通常はLLMベースURLをAI-FWプロキシエンドポイントにリダイレクトし、認証ヘッダーを追加します。 AI-FWは要求経路に透明に位置し、エージェントとLLM間のトラフィックを検査し、元のプロバイダーへの要求をプロキシします。 これにより、エージェントの活動を追跡し、エージェントのコアロジックや別のセキュリティレイヤーを追加することなく実行時の保護を強制できます。

ユースケース

カスタムエージェントの活動の追跡

カスタムエージェントがAI-FWに接続されると、そのすべてのやり取りがダッシュボードで自動的に追跡され、可視化されます。 フル会話履歴、ツールコールとそのパラメータ、ツールの応答、エージェントの最終出力を含むすべての呼び出しがセッションとして記録されます。 セキュリティチームは、これらのセッションをブラウズ、検索、調査し、管理されたエージェントやローカルエージェントと同様に操作できます。

カスタムエージェントの追跡は特に価値があり、これらのエージェントは可視性を得るのが最も困難な場合が多いです。 AI-FW統合は最小の開発者努力でこのインストゥルメンテーションを提供し、以前は不透明だったシステムを完全に観測可能なものに変えます。

AI攻撃からの実行時保護

AI-FWは、カスタムエージェントの運用において、他のエージェント全体を保護するガードやポリシーエンジンを使用してアクティブな実行時保護を提供します。 AI-FWがカスタムエージェントとLLMプロバイダーの間の要求経路にあるため、ポリシーをリアルタイムに実施し、モデル、ツール、またはユーザーに到達する前に違反をブロックまたは警告することができます。

これは、カスタムエージェントが攻撃に最もさらされていることが多いため、特に重要です。 外部APIを照会し、データベースから読み込み、ユーザーがアップロードしたドキュメントを処理するカスタムエージェントは、これらのデータソースを介した間接的なプロンプトインジェクションに対して脆弱です。 攻撃者がツールによって返されるコンテンツに影響を与えることができる場合、データベースレコードの汚染されたフィールドやドキュメントの悪意のある文字列などの単純なものでもエージェントの動作を乗っ取ろうとする可能性があります。 AI-FWはコンテンツレベルでツール応答を検査し、モデルに到達して後続のツールコールや出力に影響を与える前にインジェクションペイロードを検出します。

製品品質のカスタムエージェントを構築する組織向けに、AI-FW統合は脱獄の試み、機密データ漏洩（PIIや資格情報）、ポリシー違反に対する保護も提供し、エージェントのコアロジックに変更を加えることなく実現します。 セキュリティチームはダッシュボードでポリシーを一元的に設定し、これらのポリシーは接続されたすべてのカスタムエージェントにわたって透過的に適用されます。