Cato数据湖指南

本文讨论Cato数据湖和您的账户的事件生成率和数据保留的详细信息。

概述

Cato数据湖包含Cato平台中由不同服务记录的数据,如网络、安全性、访问等。 事件信息等数据会实时添加到数据湖中,并根据客户合同规定的特定时间段保留。 Cato使用数据湖单位根据以下定义客户数据保留:

  • 每小时事件率(目前以每小时2.5百万个事件为单位)

  • 保留时间(即3个月、6个月等)

超过数据湖单位条款的数据将被丢弃。 例如,如果一小时内有超过2.5百万个事件或数据超过3个月。

作为Cato平台的一部分,账户会收到一个包含每小时2.5百万个事件速率限制和3个月保留期的数据湖单位。 客户可以选择购买额外的数据湖单位以提高每小时事件率和/或增加事件保留时间。

客户还可以使用不同的集成将数据转发到外部云存储和SIEM,且无需额外费用。

本文中的信息适用于自2024年1月1日开始的Cato账户。

事件保留方法

事件实时保留,并可在Cato管理应用程序(CMA)的事件页面主页 > 事件)中跟踪。

  • Cato为每个客户保留一组核心关键安全和连接性事件

  • 客户可以在策略中选择要生成和保留的其他事件

  • 客户许可证定义了生成和保留的事件数量的每小时速率限制

    • 超过此数量的事件将在本小时的其余时间被丢弃

有关优化生成事件的更多信息,请参阅Cato事件日志存储和摄取的最佳实践

每小时生成和丢弃事件的测量

数据湖受每小时生成事件数的速率限制。

过去一小时内为您的账户生成的事件数量由计数器跟踪。

  • 每小时开始时,计数器会被重置

  • 当事件数量达到为客户设定的阈值时,本小时内剩余时间的进一步事件将被丢弃

    然而,Cato继续保留与Cato进程相关的系统事件

  • Cato通常允许超过阈值的余量,以减少丢弃事件的可能性

事件速率限制

默认的Cato事件速率限制详细信息基于账户拥有的数据湖单位:

  • Cato允许最多一个数据湖单位,免费(目前为每小时2.5百万个事件)

  • 如果生成的事件数超过了授权的Data Lake单位,超出的事件将在剩余小时内被丢弃

  • 为了防止丢弃事件,客户可以选择购买额外的数据湖单元

我们建议您购买额外的数据湖单位以满足您组织的数据需求,如需更多信息,请参见下文在没有事件历史的情况下估算事件需求

事件保留

对于从2024年1月1日开始的合同和续订,事件的默认保留期为3个月。

  • 在保留期(即3个月)之后,事件数据将被丢弃

  • 如果客户希望保留超过三个月的事件数据,可以购买额外的数据保留。

如果客户选择支付额外的数据保留,则默认提供的免费保留不会计入在内:所有事件保留都是收费的。

  • 如需了解更多关于购买额外数据保留的信息,请联系您的Cato代表。

Cato支持以下事件存储选项:

数据湖单位

默认情况下,每个账户具有以下数据湖单位:

  • 每小时事件率(目前以每小时2.5百万个事件为单位)

  • 保留时间(例如3个月、6个月等等)

您可以选择购买额外的数据湖单位以增加每小时事件率和/或保留时间。

增加事件速率限制

数据湖单位定义每小时可以生成的事件的峰值数量。 在每小时生成较少事件的期间,不会影响未来小时内可以生成的数量。

每购买一个数据湖单位,就可以增加2.5百万个事件的速率限制。 所以,例如:

  • 两个数据湖单位允许每小时额外2.5百万个事件(总计可达5百万个事件每小时)

  • 三个单位将允许每小时新增5百万个事件(总计可达7.5百万个事件每小时)

增加事件保留期

根据所需的保留期,数据湖单位提供三种不同的变体:

  • 三个月单位

  • 六个月单位

  • 十二个月单位

所选变体适用于所有数据单位,无法混合使用单位。

示例

下表说明了使用数据湖单位来满足客户事件存储需求。

每小时生成的事件峰值数量

所需保留期

所需的额外数据湖单位

所需的数据湖单位类型

最高至 2.5 百万

3 个月

0

不适用

最高至 2.5 百万

6 个月

1

6 个月单位

最高至 5 百万

3 个月

1

3 个月单位

最高至 7.5 百万

12 个月

2

12 个月单位

基于事件历史估算数据湖单位需求

拥有稳定事件生成历史的客户可以检查CMA中的事件图表来查看产生了多少事件。 他们可以利用此图中的峰值来考虑其事件速率限制需求。

在下例中,峰值每小时超过 400,000 事件。 这可以由免费单一数据湖单位覆盖。

Data_SKUs_Event_History_1.png

在下例中,每小时事件数超过 2.5 百万,每小时最高峰接近 3 百万。 这超过了1个数据湖单位默认事件速率限制的覆盖范围。 1 个额外单位可以覆盖这些存储需求,允许每小时生成最高至 5 百万事件。

Data_SKUs_Event_History_2.png

请注意,通过将光标悬停在条形图上,可以检查每个条形的精确高度,如下图所示。

Data_SKUs_Event_History_2_hover.png

需注意的其他事项:

  • 这些示例仅涉及方便的小时间段。 进行更长时间的分析是明智的。

  • 每个条形代表的时间段将随图表所覆盖的时间段而变化。 请注意,在更改所覆盖的时间段时注意时间序列的粒度。

无事件历史时估算事件需求

本节帮助您创建每小时峰值事件的初步粗略估计,以了解所需的数据湖单位数量。 我们建议您持续监控实际事件速率并根据需求进行调整。 每小时生成的实际事件取决于多种变量,例如流量模式和策略日志配置。 有关更多信息,请参见Cato 事件日志存储和摄取最佳实践

事件生成与整个网络使用的总带宽和支持的SDP用户数量相关。 没有事件生成历史的客户可以通过总账户站点带宽之和和SDP用户数量来估算其可能的事件速率限制需求。 此外,为账户启用的服务也会对事件需求产生影响。 例如,如果启用了LAN防火墙,这会根据LAN流量和生成事件的流量量增加事件需求。

下面提供了表格以帮助估算每小时生成的峰值事件。 按照以下步骤从表格计算需求:

  1. 总带宽表中找到与网络的峰值授权带宽相对应的行。 读取估算的每小时生成的峰值事件

  2. SDP 客户端表中找到与在用SDP 客户端数量相对应的行。 读取估算的每小时生成的峰值事件

  3. 将步骤1和2的总和相加。

  4. 将每小时总事件数除以 2.5 百万,并向上取整,以估算站点带宽和 SDP 客户端所需的数据湖单位数量。

  5. 如果您使用多个生成大量事件的Cato服务,例如CASB或LAN防火墙,请添加1个数据湖单元。 (1个用于带宽,1个用于SDP用户,1个用于CASB和RBI)

事件生成表

使用这些表来估算每小时为客户生成的峰值事件数量。 他们假设客户正在记录所有事件。

总带宽

每小时估算的峰值事件

SDP 客户端

每小时估算的峰值事件

最高至 2.5Gbps

1,000,000

最高至 3K

1,000,000

2.5-6Gbps

5,000,000

3K-7K

5,000,000

6-9Gbps

7,500,000

7K-11K

7,500,000

9-12Gbps

10,000,000

11K-15K

10,000,000

12-15Gbps

12,500,000

15K-19K

12,500,000

15-18Gbps

15,000,000

19K-23K

15,000,000

18-21Gbps

17,500,000

23K-27K

17,500,000

21-24Gbps

20,000,000

27K-31K

20,000,000

24-27Gbps

22,500,000

31K-35K

22,500,000

27-30Gbps

25,000,000

35K-39K

25,000,000

30-33Gbps

27,500,000

39K-43K

27,500,000

示例估算

在上面的表格中:

  • 总共 3 Gbps 的带宽覆盖所有站点可生成每小时估计 峰值五百万 事件

  • 总共 5,000 SDP客户端 生成相当于 额外每小时 峰值两百五十万 事件

  • 因此,客户可以期待一个峰值为 5+2.5= 7.5百万 事件每小时(2 个单位)

  • 客户使用云访问安全代理 (CASB) 和远程浏览器隔离 (RBI) 服务(1 单元)

  • 这可以通过购买个适当期限的数据湖存储单元来覆盖。

估算实际保留期需求

数据湖单元的度量单位是每小时生成的事件数量。 参与的数据显示量在选择或购买附加单元时被使用,并且CMA不会报告该数据。

然而,如果客户计划将数据导出到外部存储或SIEM中,他们可能希望估算其影响。 客户可以通过假设一个数据湖单元(每小时2.5百万事件)大致相当于每月180GB的数据存储,来粗略估算涉及的数据量,如下表所示。

注意,这只是一个非常粗略的估计。 数据湖单元定义了每小时可生成的事件的最大数量。 显而易见,购买单元以应对偶尔的事件生成大峰值的客户,其外部存储需求将与购买相同数量单元以应对持续产生大量事件的客户大不相同。

下表显示了根据保留期的总GB的非常粗略的估计:

每小时事件数量

额外的数据湖单元

每月GB(估计)

3 个月

6 个月

12 个月

2.5百万

0

180

540

1080

2160

5百万

1

360

1080

2160

4320

7.5百万

2

540

2160

4320

8640

(*) 与Cato的某些合同可能包含与本文信息不同的条款

这篇文章有帮助吗?

2 人中有 2 人觉得有帮助

0 条评论