Guía del lago de datos de Cato

Este artículo trata los detalles de la tasa de generación de eventos y la retención de datos para el lago de datos de Cato y su cuenta.

Visión general

El lago de datos de Cato contiene los datos registrados por los diferentes servicios en la plataforma Cato, como redes, seguridad, acceso, etcétera. Datos como la información de eventos se añaden al lago de datos en tiempo real y se retienen por un período específico, según lo definido por el contrato del cliente. Cato utiliza unidades de lago de datos para definir la retención de datos del cliente según:

  • Tasa de eventos por hora (actualmente en unidades de 2,5 millones de eventos por hora)

  • Tiempo de retención (ej. 3 meses, 6 meses, etc..)

Los datos que exceden los términos de la unidad de lago de datos se descartan. Por ejemplo, si hay más de 2,5 millones de eventos dentro de una hora o datos que tienen más de 3 meses de antigüedad.

Como parte de la plataforma Cato, las cuentas reciben una unidad de Data Lake que incluye un límite de tasa de eventos de 2,5 millones de eventos por hora y un período de retención de 3 meses. Los clientes pueden optar por comprar unidades de lago de datos adicionales para aumentar la tasa de eventos por hora y/o aumentar el tiempo de retención de eventos.

Los clientes también pueden usar diferentes integraciones para enviar sus datos a almacenamiento en la nube externo y SIEMs sin costo adicional.

La información en este artículo se aplica a las cuentas de Cato a partir del 1 de enero de 2024(*)

Enfoque de retención de eventos

Los eventos se retienen en tiempo real y se pueden rastrear en la Aplicación de Gestión de Cato (CMA) en la página de eventos (Inicio > Eventos).

  • Cato retiene un conjunto central de eventos de seguridad y conectividad clave para cada cliente

  • Los clientes pueden seleccionar, dentro de las políticas, eventos adicionales para ser generados y retenidos

  • Las licencias de los clientes definen el límite de tasa por hora para el número máximo de eventos que se generan y retienen

    • Los eventos que exceden este número se descartan para el resto de la hora

Para más información sobre la optimización de eventos generados, consulte Mejores prácticas para el almacenamiento e ingesta de registros de eventos de Cato

Medición de eventos por hora generados y descartados

El lago de datos está sujeto a limitación de tasa basada en la cantidad de eventos generados por hora.

La cantidad de eventos que se generaron para su cuenta en la última hora es rastreada por un contador.

  • Al comienzo de cada hora, el contador se reinicia

  • Cuando la cantidad de eventos alcanza un umbral establecido para el cliente, se descartan más eventos para el resto de esa hora

    Sin embargo, Cato sigue reteniendo eventos del sistema que están relacionados con procesos de Cato

  • Cato generalmente permite un margen por encima del umbral para reducir la probabilidad de descartar eventos

Limitación de tasa de eventos

Los detalles para la limitación de tasa por defecto de Cato para eventos se basan en las unidades de lago de datos que posee una cuenta:

  • Cato permite hasta una unidad de Data Lake, sin costo (actualmente 2,5 millones de eventos por hora)

  • Si se generan más eventos que las unidades de Data Lake licenciadas, los eventos excedentes se descartan para el resto de la hora

  • Para prevenir el descarte de eventos, los clientes tienen la opción de adquirir unidades adicionales de Data Lake

Recomendamos que adquiera unidades adicionales de lago de datos para cumplir con los requisitos de datos de su organización, para obtener más información, vea a continuación Estimación de requisitos de eventos sin un historial de eventos.

Retención de eventos

Para contratos y renovaciones a partir del 1 de enero de 2024, el período de retención por defecto para eventos es de 3 meses

  • Después del período de retención (es decir, después de 3 meses), los datos de eventos se descartan

  • Los clientes pueden comprar retención de datos adicional si desean retener datos de eventos por más de tres meses

Si un cliente elige pagar por retención de datos adicional, no se hace una concesión para la retención gratuita que se proporciona por defecto: toda la retención de eventos es facturable.

  • Para más información sobre la compra de retención de datos adicional, por favor contacte a su representante de Cato.

Cato admite las siguientes opciones de almacenamiento de eventos:

Unidades de lago de datos

Por defecto, cada cuenta tiene las siguientes unidades de lago de datos:

  • Tasa de eventos por hora (actualmente en unidades de 2,5 millones de eventos por hora)

  • Tiempo de retención (ej. 3 meses, 6 meses, etc...)

Puede optar por comprar unidades de lago de datos adicionales para aumentar la tasa de eventos por hora y/o el tiempo de retención.

Aumento del límite de tasa de eventos

Las unidades de lago de datos definen el número máximo de eventos que se pueden generar por hora. Un período en el que se generan menos eventos por hora no tendrá influencia sobre el número que se puede generar en horas futuras.

Cada unidad de Data Lake se adquiere para aumentar la limitación de tasa en 2,5 millones de eventos por hora. Por ejemplo:

  • Dos unidades de Data Lake permiten otros 2,5 millones de eventos por hora (hasta 5 millones de eventos por hora en total)

  • Tres unidades permitirán otros 5 millones de eventos por hora (hasta 7,5 millones de eventos por hora en total)

Aumento del período de retención de eventos

Las unidades de lago de datos están disponibles en tres variantes, según el período de retención requerido:

  • Una unidad de tres meses

  • Una unidad de seis meses

  • Una unidad de doce meses

La variante elegida se aplica a todas las unidades de datos, no es posible mezclar unidades.

Ejemplos

La tabla a continuación ilustra el uso de unidades de lago de datos para cubrir los requisitos de almacenamiento de eventos del cliente.

Número máximo de eventos generados por hora

Período de retención requerido

Unidades adicionales de lago de datos requeridas

Tipo de unidad de lago de datos requerida

Hasta 2,5 millones

3 meses

0

N/A

Hasta 2,5 millones

6 meses

1

unidad de 6 meses

Hasta 5 millones

3 meses

1

unidad de 3 meses

Hasta 7,5 millones

12 meses

2

unidad de 12 meses

Estimación de requisitos de unidades de lago de datos basada en el historial de eventos

Los clientes con un historial estable de generación de eventos pueden inspeccionar el gráfico de eventos en la CMA para ver cuántos eventos se están generando. Pueden usar los picos en este gráfico para considerar sus requisitos para limitación de tasa de eventos.

En el gráfico de ejemplo a continuación, los picos alcanzan un máximo de poco más de 400.000 eventos por hora Esto sería cubierto por la unidad de lago de datos única gratuita.

Data_SKUs_Event_History_1.png

En el gráfico de ejemplo a continuación, el número de eventos por hora excede los 2,5 millones en cada hora y el pico más alto se acerca a 3 millones Esto es más de lo que puede ser cubierto por la limitación de tasa de eventos por defecto para 1 unidad de lago de datos. 1 unidad adicional cubriría estos requisitos de almacenamiento, permitiendo que se generen hasta 5 millones de eventos por hora.

Data_SKUs_Event_History_2.png

Tenga en cuenta que la altura exacta de cada barra se puede inspeccionar pasando el cursor sobre la barra, como se ilustra en el gráfico a continuación.

Data_SKUs_Event_History_2_hover.png

Puntos adicionales a tener en cuenta:

  • Estos ejemplos cubren un período pequeño, por conveniencia. Sería prudente un período de análisis más largo.

  • El período de tiempo representado por cada barra cambiará según el período de tiempo cubierto por el gráfico. Preste atención a la granularidad de la serie temporal mientras cambia el período de tiempo cubierto.

Estimación de requisitos de eventos sin un historial de eventos

Esta sección le ayuda a crear una estimación inicial aproximada de los eventos pico por hora para entender cuántas unidades de lago de datos se requieren. Recomendamos que monitorice continuamente las tasas de eventos reales y ajuste según sea necesario. Los eventos reales generados por hora dependen de varias variables, como patrones de tráfico y configuración de registro de políticas. Para más información, consulte Mejores prácticas para el almacenamiento e ingesta de registros de eventos de Cato.

La generación de eventos está correlacionada tanto con el ancho de banda total en uso en toda la red como con el número de usuarios SDP soportados. Los clientes sin un historial de generación de eventos pueden estimar sus probables requisitos de limitación de tasa de eventos sumando el ancho de banda total de la cuenta del sitio y el número de usuarios SDP. Además, los servicios habilitados para la cuenta también pueden impactar los requisitos de eventos. Por ejemplo, si el firewall LAN está habilitado, esto aumentará los requisitos de eventos proporcional al volumen de tráfico LAN y qué tráfico genera eventos.

Se proporcionan tablas a continuación para ayudar a estimar los eventos pico generados por hora. Siga este procedimiento para calcular los requisitos de las tablas:

  1. Encuentre la fila en la tabla de Ancho de banda total que corresponde al ancho de banda licenciado pico para la red. Lea los eventos pico estimados por hora que se generarán

  2. Encuentre la fila en la tabla de Clientes SDP que corresponde al número de Clientes SDP en uso. Lea los eventos pico estimados por hora que se generarán

  3. Sume los totales de los pasos 1 y 2.

  4. Divida el total de eventos por hora entre 2,5 millones, y redondee hacia arriba, para estimar el número de unidades de Data Lake requeridas para el ancho de banda del sitio y los Clientes SDP

  5. Si estás usando múltiples servicios de Cato que generan un gran número de eventos, como CASB o LAN Firewall, añade 1 unidad de Data Lake. (1 unidad para ancho de banda, 1 unidad para usuarios SDP, y 1 unidad para CASB y RBI)

Tablas de generación de eventos

Use estas tablas para estimar el número pico de eventos por hora generados para un cliente. Ellos asumen que el cliente está registrando todos los eventos.

Ancho de banda total

Eventos estimados máximos por hora

Clientes SDP

Eventos estimados máximos por hora

Hasta 2.5Gbps

1.000.000

Hasta 3K

1.000.000

2,5-6Gbps

5.000.000

3K-7K

5.000.000

6-9Gbps

7.500.000

7K-11K

7.500.000

9-12Gbps

10.000.000

11K-15K

10.000.000

12-15Gbps

12.500.000

15K-19K

12.500.000

15-18Gbps

15.000.000

19K-23K

15.000.000

18-21Gbps

17.500.000

23K-27K

17.500.000

21-24Gbps

20.000.000

27K-31K

20.000.000

24-27Gbps

22.500.000

31K-35K

22.500.000

27-30Gbps

25.000.000

35K-39K

25.000.000

30-33Gbps

27.500.000

39K-43K

27.500.000

Estimación de ejemplo

En la tabla anterior:

  • Un total de 3 Gbps de ancho de banda en todos los sitios generaría un máximo estimado de cinco millones de eventos por hora

  • Un total de 5.000 clientes SDP generaría un adicional estimado máximo de dos millones y medio de eventos por hora

  • Por lo tanto, el cliente podría esperar un máximo de 5+2,5= 7,5 millones de eventos por hora (2 unidades)

  • El cliente utiliza el servicio CASB y RBI (1 unidad)

  • Esto podría cubrirse comprando tres unidades más de almacenamiento en Data Lake de la duración adecuada.

Estimando la retención real necesaria

La unidad de medida para las unidades de Data Lake es el número de eventos generados por hora. El volumen de datos involucrados no se usa en el cálculo o la compra de unidades adicionales y no es informado por el CMA.

Sin embargo, los clientes pueden desear estimar las implicaciones si planean exportar datos a un almacenamiento externo o un SIEM. Los clientes pueden hacer una estimación aproximada del volumen de datos involucrados, asumiendo que una unidad de Data Lake (2,5 millones de eventos por hora) es aproximadamente equivalente a 180 GB por mes de almacenamiento de datos, como se ilustra en la tabla a continuación.

Tenga en cuenta que esta es una estimación muy aproximada. Las unidades de Data Lake definen el máximo número de eventos que pueden generarse en una hora. Es evidente que un cliente que compra unidades para hacer frente a picos grandes ocasionales en la generación de eventos tendrá un requisito de almacenamiento externo muy diferente que un cliente que compra el mismo número de unidades para hacer frente a un número consistentemente alto de eventos generados.

La siguiente tabla muestra una estimación muy aproximada del total de GB según el período de retención:

Eventos por hora

Unidades adicionales de Data Lake

GB por mes (estimado)

3 meses

6 meses

12 meses

2,5 millones

0

180

540

1080

2160

5 millones

1

360

1080

2160

4320

7,5 millones

2

540

2160

4320

8640

(*) Algunos contratos con Cato pueden incluir términos que difieren de la información en este artículo

¿Fue útil este artículo?

Usuarios a los que les pareció útil: 2 de 2

0 comentarios