本文讨论Cato数据湖和您的账户的事件生成率和数据保留的详细信息。
Cato数据湖包含Cato平台中由不同服务记录的数据,如网络、安全性、访问等。 事件信息等数据会实时添加到数据湖中,并根据客户合同规定的特定时间段保留。 Cato使用数据湖单位根据以下定义客户数据保留:
- 每小时事件率(目前单位为每小时250万事件)
- 保留时间(例如3个月、6个月等)
超过数据湖单位条款的数据将被丢弃。 例如,如果一小时内有超过2.5百万个事件或数据超过3个月。
作为Cato平台的一部分,账户会收到一个包含每小时2.5百万个事件速率限制和3个月保留期的数据湖单位。 客户可以选择购买额外的数据湖单位以提高每小时事件率和/或增加事件保留时间。
客户还可以使用不同的集成将数据转发到外部云存储和SIEM,且无需额外费用。
本文中的信息适用于自2024年1月1日开始的Cato账户。
事件实时保留,并可在Cato管理应用程序(CMA)的事件页面(主页 > 事件)中跟踪。
- Cato保留了每位客户的关键安全性和连接性事件的核心集
- 客户可以在访问权限策略中选择需要生成和保留的其他事件
-
客户许可证定义了生成和保留的事件数量的每小时速率限制
- 超过此数量的事件将被丢弃,直到该小时结束
有关优化生成事件的更多信息,请参阅Cato事件日志存储和摄取的最佳实践
数据湖受每小时生成事件数的速率限制。
过去一小时内为您的账户生成的事件数量由计数器跟踪。
- 在每小时的开始时,计数器将被重置
-
当事件数量达到为客户设定的阈值时,本小时内剩余时间的进一步事件将被丢弃
然而,Cato继续保留与Cato进程相关的系统事件
- Cato通常允许超过阈值的弹性空间,以减少丢弃事件的可能性
默认的Cato事件速率限制详细信息基于账户拥有的数据湖单位:
- Cato允许免费使用多达一个数据湖单元(当前每小时处理250万事件)
- 如果生成的事件多于授权的数据湖单元,则超出的事件将在本小时内被丢弃
- 为防止事件被丢弃,客户可以选择购买额外的数据湖单元
我们建议您购买额外的数据湖单元以满足组织的数据需求,查看更多信息,请参见下文 没有事件历史情况下的事件需求估算。
默认情况下,每个账户具有以下数据湖单位:
- 每小时事件率(当前为每小时250万事件的单位)
- 保留时间(即3个月、6个月等)
您可以选择购买额外的数据湖单位以增加每小时事件率和/或保留时间。
数据湖单位定义每小时可以生成的事件的峰值数量。 在每小时生成较少事件的期间,不会影响未来小时内可以生成的数量。
每购买一个数据湖单位,就可以增加2.5百万个事件的速率限制。 所以,例如:
- 两个数据湖单元允许额外处理每小时250万事件(总计每小时高达500万事件)
- 三个单元将允许额外每小时500万事件(总计每小时高达750万事件)
拥有稳定事件生成历史的客户可以检查CMA中的事件图表来查看产生了多少事件。 他们可以利用此图中的峰值来考虑其事件速率限制需求。
在下例中,峰值每小时超过 400,000 事件。 这可以由免费单一数据湖单位覆盖。
在下例中,每小时事件数超过 2.5 百万,每小时最高峰接近 3 百万。 这超过了1个数据湖单位默认事件速率限制的覆盖范围。 1 个额外单位可以覆盖这些存储需求,允许每小时生成最高至 5 百万事件。
请注意,通过将光标悬停在条形图上,可以检查每个条形的精确高度,如下图所示。
需注意的其他事项:
- 这些示例涵盖了一个小的时间段,便于说明。 一个更长的分析期会更谨慎。
- 每个条形表示的时间段将根据图表覆盖的时间段而更改。 更改所覆盖的时间段时,请注意时间序列粒度。
本节帮助您创建每小时峰值事件的初步粗略估计,以了解所需的数据湖单位数量。 我们建议您持续监控实际事件速率并根据需求进行调整。 每小时生成的实际事件取决于多种变量,例如流量模式和策略日志配置。 有关更多信息,请参见Cato 事件日志存储和摄取最佳实践。
事件生成与整个网络使用的总带宽和支持的SDP用户数量相关。 没有事件生成历史的客户可以通过总账户站点带宽之和和SDP用户数量来估算其可能的事件速率限制需求。 此外,为账户启用的服务也会对事件需求产生影响。 例如,如果启用了LAN防火墙,这会根据LAN流量和生成事件的流量量增加事件需求。
下面提供了表格以帮助估算每小时生成的峰值事件。 按照以下步骤从表格计算需求:
- 在总带宽表中找到与该网络的峰值授权带宽相对应的行。 读取预计将生成的每小时事件峰值
- 在SDP客户端表中找到与正在使用的SDP客户端数量相对应的行。 读取预计将生成的每小时事件峰值
- 将步骤1和2的总和相加。
- 将每小时的总事件数除以250万,然后向上舍入,以估算站点带宽和SDP客户端所需的数据湖单元数量。
- 如果您使用多个Cato服务(例如CASB或LAN防火墙),会生成大量事件,请添加一个数据湖单元。 (1个用于带宽,1个用于SDP用户,1个用于CASB和RBI)
使用这些表来估算每小时为客户生成的峰值事件数量。 他们假设客户正在记录所有事件。
| 总带宽 | 每小时预计事件峰值 | SDP客户端 | 每小时预计事件峰值 |
|---|---|---|---|
| 上线2.5Gbps | 1,000,000 | 上线3K | 1,000,000 |
| 2.5-6Gbps | 5,000,000 | 3K-7K | 5,000,000 |
| 6-9Gbps | 7,500,000 | 7K-11K | 7,500,000 |
| 9-12Gbps | 10,000,000 | 11K-15K | 10,000,000 |
| 12-15Gbps | 12,500,000 | 15K-19K | 12,500,000 |
| 15-18Gbps | 15,000,000 | 19K-23K | 15,000,000 |
| 18-21Gbps | 17,500,000 | 23K-27K | 17,500,000 |
| 21-24Gbps | 20,000,000 | 27K-31K | 20,000,000 |
| 24-27Gbps | 22,500,000 | 31K-35K | 22,500,000 |
| 27-30Gbps | 25,000,000 | 35K-39K | 25,000,000 |
| 30-33Gbps | 27,500,000 | 39K-43K | 27,500,000 |
数据湖单元的度量单位是每小时生成的事件数量。 参与的数据显示量在选择或购买附加单元时不被使用,并且CMA不会报告该数据。
然而,如果客户计划将数据导出到外部存储或SIEM中,他们可能希望估算其影响。 客户可以通过假设一个数据湖单元(每小时2.5百万事件)大致相当于每月180GB的数据存储,来粗略估算涉及的数据量,如下表所示。
注意,这只是一个非常粗略的估计。 数据湖单元定义了每小时可生成的事件的最大数量。 显而易见,购买单元以应对偶尔的事件生成大峰值的客户,其外部存储需求将与购买相同数量单元以应对持续产生大量事件的客户大不相同。
下表显示了根据保留期的总GB的非常粗略的估计:
| 每小时事件数 | 额外的数据湖单元 | 每月GB数(估计) | 3个月 | 6个月 | 12个月 |
|---|---|---|---|---|---|
| 250万 | 0 | 180 | 540 | 1080 | 2160 |
| 500万 | 1 | 360 | 1080 | 2160 | 4320 |
| 750万 | 2 | 540 | 2160 | 4320 | 8640 |
(*) 与Cato的某些合同可能包含与本文信息不同的条款
0 条评论
请登录写评论。