Este artigo explica como manter o acesso seguro às aplicações de IA em sua organização.
O uso de ferramentas baseadas em IA aumenta a produtividade, mas também apresenta novos desafios e riscos de segurança para sua organização. Por exemplo, os usuários podem inserir dados proprietários na versão gratuita de uma aplicação de IA, resultando no fornecedor da aplicação tendo o direito de usar essas informações. Agentes maliciosos podem consultar o LLM da aplicação de IA para extrair dados proprietários. À medida que o número de aplicações de IA se expande rapidamente, as equipes de segurança enfrentam o desafio de saber quais aplicações estão em uso e onde dados sensíveis estão sendo compartilhados.
Para proteger sua organização e seus dados sensíveis, enquanto permite o uso seguro de aplicações de IA, a Cato recomenda uma estratégia de três partes:
-
Obter Visibilidade: Entenda quais aplicações de IA estão em uso, quem as está usando e como são utilizadas
-
Controle de Acesso: Implemente políticas para regular o acesso às aplicações de IA e aplicar medidas de segurança
-
Proteja os Dados: Proteja informações sensíveis evitando o acesso ou compartilhamento não autorizado dentro de aplicações de IA
Aproveitando uma combinação de recursos, você pode implementar essa estratégia e monitorar e proteger o tráfego de aplicações de IA. Você pode definir regras no Firewall da Internet para controlar o acesso a uma categoria de aplicações de IA e definir regras para aplicações de IA específicas. Além disso, defina a política de Controle de Aplicações para garantir que os usuários acessem apenas o locatário empresarial para uma aplicação de IA ou bloqueiem ações granulares, mantendo suas informações proprietárias seguras. Como uma camada adicional de proteção, você pode configurar a política de Controle de Dados para impedir a transferência de dados sensíveis para aplicações de IA.
Conhecer e entender os riscos associados às aplicações de IA usadas dentro de sua organização pode prevenir riscos de vazamento de dados, violações de conformidade e vulnerabilidades de segurança potenciais. Entender quais aplicações de IA estão em uso, quem as está usando e como interagem com dados sensíveis permite que você aplique políticas, mitigue ameaças e assegure uma adoção responsável de IA. A visibilidade também ajuda na avaliação dos riscos potenciais das aplicações de IA, na manutenção da governança e no alinhamento do uso de IA com o framework de segurança da sua organização.
O Painel de Aplicações GenAI e o Catálogo de Aplicações fornecem visibilidade e compreensão das aplicações de IA usadas em seu ambiente.
O Painel de Aplicações GenAI oferece visibilidade centralizada e abrangente sobre o uso de aplicações GenAI em linha, incluindo IA fantasma. O painel detalha quais aplicações de IA estão sendo usadas em toda sua organização, e por quem, e rastreia todas as interações dos usuários e compartilhamento de dados sensíveis. Com a visibilidade fornecida pelo painel de Aplicações GenAI, você pode evitar proativamente vazamentos de dados identificando riscos. Para mais informações, consulte Using the GenAI Apps Dashboard.
O Catálogo de Aplicações contém uma ampla gama de dados de segurança, conformidade e informações gerais para centenas de aplicações e serviços de IA. Isso inclui fornecer todas as informações para realizar o TPRM (gerenciamento de risco de terceiros) para avaliar o risco de usar esta aplicação. Você pode usar o catálogo para aprender mais sobre uma aplicação e decidir como usá-la em sua organização. Para mais informações, consulte Using the App Catalog.
A Atividades de Auditoria fornece visibilidade fora de banda de todas as atividades realizadas por qualquer usuário em uma aplicação SaaS conectada, mesmo que um usuário não esteja conectado ao Cloud Cato. O Microsoft Copilot e ChatGPT podem ser integrados com o Cloud Cato para fornecer visibilidade dos chats e dados que estão sendo compartilhados com essas aplicações. Para mais informações, consulte What is Application Control via API with App Activities.
A empresa ABC revisa o Painel de Aplicações GenAI e identifica uma ferramenta desconhecida de análise de código baseada em IA. Eles procuram pela aplicação no Catálogo de Aplicações e descobrem que a aplicação tem uma pontuação de risco de 6. Para evitar o risco de divulgação de informações sensíveis, eles criam uma função de Controle de Aplicações para bloquear o acesso à aplicação.
Sem controles de acesso adequados, os usuários podem inadvertidamente inserir informações confidenciais em modelos de IA, levando a vazamentos de dados ou violações regulatórias. Além disso, aplicações de IA não investigadas podem introduzir vulnerabilidades de segurança, expor código proprietário ou gerar conteúdo enganoso ou prejudicial. Ao impor políticas de acesso rigorosas, você pode garantir que apenas usuários autorizados interajam com ferramentas de IA autorizadas, minimizando riscos enquanto permite a adoção de IA.
A Cato mantém 8 categorias de sistema para aplicações de IA, além da categoria geral Ferramentas GenAI. Essas podem ser usadas no Firewall da Internet para controlar o acesso a uma categoria de aplicações de IA, por exemplo, aplicações de assistentes de código, ou para as aplicações de IA mais populares, incluindo ChatGPT, AgentGPT, Google Bard, Elicit AI, MagicPen AI, Poe AI, OpenAI e mais.
Você também pode definir regras para aplicações de IA específicas ou categorias de aplicações. Por exemplo, após criar uma regra que bloqueia o tráfego para a categoria Ferramentas GenAI, você pode criar uma regra com maior prioridade que permite o tráfego para ChatGPT para um grupo específico de usuários que precisam de acesso. Para mais informações, consulte What is the Cato Internet Firewall?.
O exemplo a seguir de regras do Firewall da Internet permite que o grupo de usuários Equipe de Pesquisa acesse o ChatGPT, enquanto bloqueia todo o outro acesso à categoria Ferramentas GenAI:
A Política de Controle de Aplicações permite controlar granularmente o acesso a aplicações com base em critérios específicos, como a pontuação de risco da aplicação ou seu nível de conformidade. Para saber mais sobre como configurar regras de Controle de Aplicações, consulte Managing the Application Control Policy.
Para prevenir a exposição de informações proprietárias na versão gratuita de uma aplicação, você pode criar regras na política de Controle de Aplicações que bloqueiem usuários de acessar contas privadas e permitam acesso apenas ao seu locatário empresarial. Por exemplo, você pode definir regras para a aplicação OpenAI que permitam apenas atividades de login ao locatário da sua organização e bloqueiem todos os outros logins (por exemplo, login com um endereço de email privado).
Abaixo está uma base de regras de exemplo onde a primeira regra permite login no OpenAI para nomes de usuários que incluam o domínio da empresa, então as próximas regras bloqueiam todo login no OpenAI através de autenticação direta e de terceiros.
Para aumentar a granularidade, para algumas aplicações você pode equilibrar a segurança com a produtividade permitindo o acesso dos usuários a uma aplicação necessária enquanto bloqueia atividades arriscadas dentro dela. Para fazer isso, você pode criar regras na política de Controle de Aplicações, que incluam atividades granulares. Por exemplo, você pode permitir o acesso ao Wordtune, mas bloquear os usuários de fazer upload de arquivos.
O ChatGPT oferece um recurso de chat temporário projetado para aprimorar a privacidade do usuário. De acordo com a OpenAI, esses chats não aparecem no histórico do usuário, não são armazenados na memória e não são usados para treinar modelos. No entanto, essa proteção de privacidade está desativada por padrão. A menos que os usuários ativem manualmente, todas as interações são salvas, representando um risco potencial para uso relacionado ao trabalho.
A política de Controle de Aplicação pode detectar se os usuários estão em um chat temporário e bloquear o tráfego quando não estão. Isso permite que as organizações concedam acesso ao ChatGPT, garantindo que dados sensíveis não sejam expostos inadvertidamente.
As aplicações GenAI geralmente processam entradas de usuários de maneiras que podem levar a vazamentos de dados, como os usuários compartilhando inadvertidamente código proprietário, informações pessoalmente identificáveis (PII) ou dados comerciais confidenciais. O serviço DLP da Cato examina o conteúdo e aplica políticas em uma aplicação de IA para ajudar a impedir que os usuários comprometam dados sensíveis ao usar a aplicação. Ao criar regras DLP para aplicações GenAI, você pode aplicar políticas que detectem e bloqueiem dados sensíveis de serem inseridos em modelos de IA.
O serviço DLP da Cato utiliza dezenas de modelos capazes de detectar dados sensíveis no fluxo de tráfego usando técnicas avançadas. Isso inclui categorias como Finanças, Jurídico, RH, Imigração e Médico. Além disso, o DLP também inclui Tipos de Dados para uso com aplicações GenAI. Por exemplo, o Perfil de Dados PII inclui Tipos de Dados como informações de cartão de crédito e carteiras de motorista. Isso permite que você crie uma política granular que se aplica apenas aos dados sensíveis relevantes e os impeça de serem usados em uma aplicação de IA.
Se os perfis de dados predefinidos podem fornecer seus próprios arquivos/dados para treinar um modelo de ML personalizado. Motores de IA avançados aprendem com esta entrada, deduzem contextos e, posteriormente, detectam dados sensíveis dentro do mesmo domínio.
Para mais informações, consulte Working with Custom Data Types for DLP.
Nota
Nota: Este recurso está disponível por padrão para contas criadas após 25 de março de 2025. Para contas criadas antes dessa data, você pode criar manualmente os Tipos de Dados. Para mais informações, consulte Configuração de DLP recomendada para monitorar aplicativos de IA.
A política de Controle de Aplicações e DLP inclui regras predefinidas recomendadas pela Cato. Incluídas nestas estão regras para proteger suas aplicações de IA. Por padrão, o DLP monitora e cria eventos para os seguintes Tipos de Dados sendo carregados para ferramentas GenAI:
-
PII
-
Dados financeiros
-
Chaves de acesso & tokens
-
Dados legais
A empresa ABC está assinando um acordo para se inscrever em uma nova aplicação SaaS. Eles recebem o contrato para assinar e um usuário faz o upload dele para a versão gratuita de uma aplicação GenAI de alto risco para revisar e resumir o contrato. A regra DLP predefinida cria um Evento para alertar a equipe de segurança sobre essa violação de política.
0 comentário
Artigo fechado para comentários.