Este artículo explica cómo mantener el acceso seguro a las aplicaciones de IA en su organización.
El uso de herramientas basadas en IA aumenta la productividad, pero también presenta nuevos desafíos y riesgos de seguridad para su organización. Por ejemplo, los usuarios pueden ingresar datos patentados en la versión gratuita de una aplicación de IA, lo que resulta en que el proveedor de la aplicación tenga el derecho de usar esta información. Los actores malintencionados podrían consultar el LLM de la aplicación de IA para extraer los datos patentados. A medida que el número de aplicaciones de IA se expande rápidamente, los equipos de seguridad enfrentan el desafío de saber qué aplicaciones se están utilizando y dónde se está compartiendo información sensible.
Para proteger su organización y sus datos sensibles mientras se habilita el uso seguro de aplicaciones de IA, Cato recomienda una estrategia de tres partes:
-
Obtener Visibilidad: Entender qué aplicaciones de IA están en uso, quién las está utilizando y cómo se utilizan
-
Controlar el Acceso: Implementar políticas para regular el acceso a las aplicaciones de IA y aplicar medidas de seguridad
-
Proteger los Datos: Salvaguardar la información sensible evitando el acceso no autorizado o la compartición dentro de las aplicaciones de IA
Aprovechar una combinación de características le permite implementar esta estrategia y monitorear y asegurar el tráfico de las aplicaciones de IA. Puede definir reglas de Firewall de Internet para controlar el acceso a una categoría de aplicaciones de IA y establecer reglas para aplicaciones de IA específicas. Además, defina la política de Control de Aplicaciones para asegurar que los usuarios solo accedan a su inquilino empresarial para una aplicación de IA o bloqueen acciones granulares, manteniendo su información patentada segura. Como una capa adicional de protección, puede configurar la política de Control de Datos para evitar la transferencia de datos sensibles a las aplicaciones de IA.
Conocer y entender los riesgos asociados con las aplicaciones de IA utilizadas dentro de su organización puede prevenir riesgos de fuga de datos, violaciones de cumplimiento y potenciales vulnerabilidades de seguridad. Entender qué aplicaciones de IA están en uso, quién las está utilizando y cómo interactúan con los datos sensibles le permite aplicar políticas, mitigar amenazas y asegurar la adopción responsable de IA. La visibilidad también ayuda a evaluar los riesgos potenciales de las aplicaciones de IA, mantener la gobernanza y alinear el uso de la IA con el marco de seguridad de su organización.
El Panel de Aplicaciones GenAI y el Catálogo de Aplicaciones le proporcionan visibilidad y comprensión de las aplicaciones de IA utilizadas en su entorno.
El Panel de Aplicaciones GenAI proporciona una visibilidad centralizada y completa sobre el uso en línea de aplicaciones GenAI, incluido el AI en la sombra. El panel detalla qué aplicaciones de IA están siendo utilizadas en toda su organización, por quién, y rastrea todas las interacciones de los usuarios y el intercambio de datos sensibles. Con la visibilidad proporcionada por el panel de aplicaciones GenAI, puede prevenir proactivamente las violaciones de datos identificando riesgos. Para obtener más información, consulte Usar el Panel de Aplicaciones GenAI.
El Catálogo de Aplicaciones contiene una amplia gama de datos de seguridad, cumplimiento e información general para cientos de aplicaciones y servicios de IA. Esto incluye proporcionar todos los conocimientos para llevar a cabo TPRM (gestión de riesgos de terceros) para evaluar el riesgo de usar esta aplicación. Puede usar el catálogo para aprender más sobre una aplicación y decidir cómo usarla en su organización. Para obtener más información, consulte Usar el Catálogo de Aplicaciones.
Auditar las Actividades le proporciona visibilidad fuera de banda de toda la actividad realizada por cualquier usuario en una aplicación SaaS conectada, incluso si un usuario no está conectado a la Nube de Cato. Microsoft Copilot y ChatGPT pueden integrarse con Cato para proporcionarle visibilidad de los chats y datos que se están compartiendo con estas aplicaciones. Para obtener más información, consulte Qué es el Control de Aplicaciones vía API con Actividades de la Aplicación.
La Compañía ABC revisa el Panel de Aplicaciones GenAI e identifica una herramienta de análisis de código impulsada por IA desconocida. Buscan la aplicación en el Catálogo de Aplicaciones y encuentran que la aplicación tiene un puntaje de riesgo de 6. Para evitar el riesgo de que se divulgue información sensible, crean una regla de Control de Aplicaciones para bloquear el acceso a la aplicación.
Sin controles de acceso adecuados, los usuarios pueden ingresar inadvertidamente información confidencial en modelos de IA, lo que lleva a fugas de datos o violaciones regulatorias. Además, las aplicaciones de IA no verificadas podrían introducir vulnerabilidades de seguridad, exponer código patentado o generar contenido engañoso o dañino. Al aplicar políticas de acceso estrictas, puede asegurarse de que solo los usuarios autorizados interactúen con las herramientas de IA autorizadas, minimizando el riesgo mientras se habilita la adopción de IA.
Cato mantiene 8 categorías de sistema para aplicaciones de IA además de la categoría general Herramientas de IA Generativa. Estas pueden ser usadas en el Firewall de Internet para controlar el acceso a una categoría de aplicaciones de IA, por ejemplo, aplicaciones de asistentes de código, o para las aplicaciones de IA más populares, incluidas ChatGPT, AgentGPT, Google Bard, Elicit AI, MagicPen AI, Poe AI, OpenAI, y más.
También puede definir reglas para aplicaciones de IA específicas o categorías de aplicaciones. Por ejemplo, después de crear una regla que bloquea el tráfico hacia la categoría Herramientas de IA Generativa, puede crear una regla con mayor prioridad que permita el tráfico hacia ChatGPT para un grupo específico de usuarios que necesitan acceso. Para obtener más información, consulte ¿Qué es el Firewall de Internet de Cato?.
Las siguientes reglas de ejemplo del Firewall de Internet permiten al Grupo de Usuarios Equipo de Investigación acceder a ChatGPT, mientras bloquean todo otro acceso a la categoría Herramientas de IA Generativa:
La Política de Control de Aplicaciones le permite controlar granularmente el acceso a aplicaciones basado en criterios específicos, como el puntaje de riesgo de una aplicación o su nivel de cumplimiento. Para más información sobre cómo configurar reglas de Control de Aplicaciones, consulte Gestionando la Política de Control de Aplicaciones.
Para prevenir la exposición de información patentada en el nivel gratuito de una aplicación, puede crear reglas en la política de Control de Aplicaciones que bloqueen a los usuarios el acceso a cuentas privadas y permitan el acceso solo a su inquilino empresarial. Por ejemplo, puede definir reglas para la aplicación OpenAI que solo permitan actividades de inicio de sesión para el inquilino de su organización, y bloqueen todos los demás inicios de sesión (por ejemplo, iniciar sesión con un correo electrónico privado).
A continuación se muestra un ejemplo de base de reglas donde la primera regla permite el inicio de sesión a OpenAI para nombres de usuario que incluyan el dominio de la empresa, luego las siguientes reglas bloquean todo inicio de sesión a OpenAI a través de autenticación directa y de terceros.
Para mayor granularidad, para algunas aplicaciones puede equilibrar la seguridad con la productividad permitiendo que los usuarios accedan a una aplicación necesaria mientras se bloquean actividades riesgosas dentro de ella. Para hacer esto, puede crear reglas en la política de Control de Aplicaciones, que incluyan actividades granulares. Por ejemplo, puede permitir el acceso a Wordtune, pero bloquear que los usuarios suban archivos.
ChatGPT ofrece una función de chat temporal diseñada para mejorar la privacidad del usuario. Según OpenAI, estos chats no aparecen en el historial del usuario, no se almacenan en la memoria y no se utilizan para entrenar modelos. Sin embargo, esta medida de seguridad de privacidad está desactivada por defecto. A menos que los usuarios la activen manualmente, todas las interacciones se guardan, lo que representa un riesgo potencial para el uso relacionado con el trabajo.
La política de Control de Aplicaciones puede detectar si los usuarios están en un chat temporal y puede bloquear el tráfico cuando no lo están. Esto permite a las organizaciones dar acceso a los usuarios a ChatGPT, mientras se asegura que los datos sensibles no se expongan inadvertidamente.
Las aplicaciones GenAI a menudo procesan inputs de los usuarios de maneras que podrían llevar a fugas de datos, como los usuarios compartiendo inadvertidamente código patentado, información personal identificable (PII) o datos comerciales confidenciales. El servicio DLP de Cato escanea contenido e impone políticas en una aplicación de IA para ayudarle a prevenir que los usuarios comprometan datos sensibles al usar la aplicación. Al crear reglas de DLP para aplicaciones GenAI, puede imponer políticas que detecten y bloqueen datos sensibles de ser ingresados en modelos de IA.
El servicio DLP de Cato utiliza docenas de modelos capaces de detectar datos sensibles en el flujo de tráfico utilizando técnicas avanzadas. Esto incluye categorías como Finanzas, Legal, Recursos Humanos, Inmigración y Medicina. Además, DLP también incluye Tipos de Datos para su uso con aplicaciones GenAI. Por ejemplo, el Perfil de Datos PII incluye Tipos de Datos como información de tarjetas de crédito y licencias de conducción. Esto le permite crear una política granular que solo aplica a los datos sensibles relevantes y previene que sean utilizados en una aplicación de IA.
Si los perfiles de datos predefinidos pueden proporcionar sus propios archivos/datos para entrenar un modelo ML personalizado. Los motores de IA avanzados aprenden de esta entrada, deducen contexto y luego detectan datos sensibles dentro del mismo dominio.
Para más información, consulte Trabajando con Tipos de Datos Personalizados para DLP.
Nota
Nota: Esta función está disponible de forma predeterminada para cuentas creadas después del 25 de marzo de 2025. Para cuentas creadas antes de esta fecha, puede crear manualmente los Tipos de Datos. Para más información, vea Configuración de DLP Recomendada para Monitorear Aplicaciones de IA.
La política de Control de Aplicaciones y DLP incluye reglas predefinidas recomendadas por Cato. Incluidas en estas están las reglas para proteger sus aplicaciones de IA. De forma predeterminada, DLP monitorea y crea eventos para los siguientes Tipos de Datos que se cargan en herramientas GenAI:
-
PII
-
Datos financieros
-
Claves de acceso y tokens
-
Datos legales
La Compañía ABC está firmando un acuerdo para suscribirse a una nueva aplicación SaaS. Se les envía el contrato para firmar y un usuario lo carga al nivel gratuito de una aplicación GenAI de alto riesgo para revisar y resumir el contrato. La regla de DLP Predefinida crea un Evento para alertar al equipo de seguridad sobre esta violación de política.
0 comentarios
El artículo está cerrado para comentarios.