Guia para o Data Lake da Cato

O Data Lake da Cato contém os Dados registrados pelos diferentes Serviços na plataforma Cato, como Redes, Segurança, Acesso, e assim por diante. Dados como informações de Eventos são adicionados ao Data Lake em tempo real e retidos por um período específico, conforme definido pelo contrato do Cliente. A Cato usa unidades de Data Lake para definir a retenção de Dados do Cliente de acordo com:

Os Dados que excedem os termos da unidade de Data Lake são Descartados. Por exemplo, se houver mais de 2,5 milhões de eventos dentro de uma Hora ou Dados com mais de 3 meses.

Como parte da plataforma Cato, as Contas recebem uma única unidade de Data Lake que inclui um limite de taxa de eventos de 2,5 milhões de eventos por Hora e um período de retenção de 3 meses. Os Clientes podem optar por comprar unidades adicionais de Data Lake para aumentar a taxa de eventos por Hora e/ou aumentar o tempo de retenção de eventos.

Os Clientes também podem usar diferentes Integrações para encaminhar seus Dados para Armazenamento na Nuvem externo e SIEMs sem custo adicional.

As informações neste artigo se aplicam às Contas da Cato a partir de 1º de janeiro de 2024(*).

Os Eventos são retidos em tempo real e podem ser acompanhados na Aplicação de Gerenciamento Cato (CMA) na página de Eventos (Inicial > Eventos).

Para mais informações sobre otimização de eventos gerados, consulte Melhores Práticas para Armazenamento e Ingestão de Logs de Eventos da Cato

Por padrão, cada Conta possui as seguintes unidades de Data Lake:

Você pode escolher comprar unidades adicionais de Data Lake para aumentar a taxa de eventos horária e/ou o tempo de retenção.

Clientes com um histórico estável de geração de eventos podem inspecionar o gráfico de eventos no CMA para ver quantos eventos estão sendo gerados. Eles podem usar os picos neste gráfico para considerar seus requisitos de limitação de taxa de eventos.

No gráfico de exemplo abaixo, os picos atingem um máximo de pouco mais de 400.000 eventos por hora. Isso seria coberto pela unidade única de Data Lake gratuita.

No gráfico de exemplo abaixo, o número de eventos por hora excede 2,5 milhões a cada hora, e o pico mais alto se aproxima de 3 milhões. Isso é mais do que pode ser coberto pela limitação de taxa de eventos padrão para 1 unidade de Data Lake. 1 unidade adicional cobriria esses requisitos de armazenamento, permitindo gerar até 5 milhões de eventos por hora.

Note que a altura exata de cada barra pode ser inspecionada ao passar o cursor sobre a barra, como ilustrado no gráfico abaixo.

Outros pontos a serem observados:

Esta seção ajuda você a criar uma estimativa inicial aproximada dos eventos de pico por hora para entender quantas unidades de Data Lake são necessárias. Recomendamos que você monitore continuamente as taxas de eventos reais e ajuste conforme necessário. Os eventos reais gerados por hora dependem de várias variáveis, como padrões de tráfego e configuração de registro de políticas. Para mais informações, veja Melhores Práticas para o Armazenamento e Ingestão de Logs de Eventos da Cato.

A geração de eventos está correlacionada tanto à largura de banda total em uso na rede quanto ao número de Usuários SDP suportados. Clientes sem um histórico de geração de eventos podem estimar seus requisitos prováveis de limitação de taxa de eventos somando a largura de banda total do site da conta e o número de Usuários SDP. Além disso, os serviços habilitados para a conta também podem impactar os requisitos de eventos. Por exemplo, se o Firewall LAN estiver habilitado, isso aumentará os requisitos de eventos proporcionalmente ao volume de tráfego LAN e ao tráfego que gera eventos.

São fornecidas tabelas abaixo para ajudar a estimar os eventos de pico gerados por hora. Siga este procedimento para calcular os requisitos a partir das tabelas:

A unidade de medida para unidades de Data Lake é o número de eventos gerados por hora. O volume de dados envolvidos não é usado no cálculo ou compra de unidades adicionais e não é relatado pelo CMA.

No entanto, os clientes podem desejar estimar as implicações se planejarem exportar dados para armazenamento externo ou um SIEM. Os clientes podem fazer uma estimativa aproximada do volume de dados envolvidos, assumindo que uma unidade de Data Lake (2,5 milhões de eventos por hora) é muito aproximadamente equivalente a 180 GB por mês de armazenamento de dados, como ilustrado na tabela abaixo.

Nota que esta é uma estimativa muito aproximada. As unidades de Data Lake definem o máximo número de eventos que podem ser gerados em uma hora. É auto-evidente que um cliente que compra unidades para lidar com grandes picos ocasionais na geração de eventos terá um requisito de armazenamento externo muito diferente de um cliente que compra o mesmo número de unidades para lidar com um número consistentemente alto de eventos gerados.

A tabela a seguir mostra uma estimativa muito aproximada do total de GB de acordo com o período de retenção:

(*) Alguns contratos com a Cato podem incluir termos que diferem da informação neste artigo