Guide du lac de données Cato

Le lac de données Cato contient les données enregistrées par les différents services de la plateforme Cato, tels que la mise en réseau, la sécurité, l'accès, etc. Les données telles que les informations sur les événements sont ajoutées au lac de données en temps réel et conservées pendant une période spécifique, définie par le contrat du client. Cato utilise des unités de lac de données pour définir la rétention des données clients selon :

Les données qui dépassent les termes de l'unité de lac de données sont supprimées. Par exemple, s'il y a plus de 2,5 millions d'événements en une heure ou des données datant de plus de 3 mois.

Dans le cadre de la plateforme Cato, les comptes reçoivent une seule unité de lac de données qui inclut une limite de taux d'événements de 2,5 millions d'événements par heure et une période de rétention de 3 mois. Les clients peuvent choisir d'acheter des unités de lac de données supplémentaires pour augmenter le taux d'événements horaire et/ou prolonger le temps de rétention des événements.

Les clients peuvent également utiliser différentes intégrations pour transférer leurs données vers un stockage en nuage externe et des SIEM sans frais supplémentaires.

Cette information dans cet article s'applique aux comptes Cato à partir du 1er janvier 2024(*).

Les événements sont conservés en temps réel et peuvent être suivis dans l'application de gestion Cato (CMA) sur la page des événements (Accueil > Événements).

Pour plus d'informations sur l'optimisation des événements générés, voir Meilleures pratiques pour le stockage et l'ingestion des journaux d'événements Cato

Par défaut, chaque compte dispose des unités de lac de données suivantes :

Vous pouvez choisir d'acheter des unités de lac de données supplémentaires pour augmenter le taux d'événements horaire et/ou le temps de rétention.

Les clients ayant un historique stable de génération d'événements peuvent inspecter le graphique des événements dans la CMA pour voir combien d'événements sont générés. Ils peuvent utiliser les pics dans ce graphique pour prendre en compte leurs exigences de limitation du taux d'événements.

Dans le graphique d'exemple ci-dessous, les pics atteignent un maximum de juste plus de 400 000 événements par heure. Cela serait couvert par l'unité unique de Data Lake gratuite.

Dans le graphique d'exemple ci-dessous, le nombre d'événements par heure dépasse 2,5 millions chaque heure, et le pic le plus élevé s'approche de 3 millions. Cela dépasse ce qui peut être couvert par la limitation par défaut du taux d'événements pour 1 unité de Data Lake. 1 unité supplémentaire couvrirait ces besoins de stockage, permettant de générer jusqu'à 5 millions d'événements par heure.

Notez que la hauteur exacte de chaque barre peut être inspectée en passant le curseur sur la barre, comme illustré dans le graphique ci-dessous.

Autres points à noter :

Cette section vous aide à créer une estimation initiale approximative des événements de pointe par heure pour comprendre combien d'unités de Data Lake sont nécessaires. Nous vous recommandons de surveiller en continu les taux d'événements réels et de vous ajuster selon les besoins. Les événements réels générés par heure dépendent de plusieurs variables, comme les modèles de trafic et la configuration de la journalisation des politiques. Pour plus d'informations, voir Meilleures Pratiques pour le Stockage et l'Ingestion des Journaux d'Événements Cato.

La génération d'événements est corrélée à la fois à la bande passante totale utilisée sur le réseau et au nombre d'utilisateurs SDP pris en charge. Les clients sans historique de génération d'événements peuvent estimer leurs exigences probables en matière de limitation du taux d'événements en ajoutant la somme de la bande passante totale du site du compte et le nombre d'utilisateurs SDP. De plus, les services activés pour le compte peuvent également avoir un impact sur les exigences en matière d'événements. Par exemple, si le pare-feu LAN est activé, cela augmentera les exigences en matière d'événements proportionnellement au volume de trafic LAN et au trafic qui génère des événements.

Des tableaux sont fournis ci-dessous pour aider à estimer les événements de pointe générés par heure. Suivez cette procédure pour calculer les besoins à partir des tableaux :

L'unité de mesure pour les unités de Data Lake est le nombre d'événements générés par heure. Le volume de données impliquées n'est pas utilisé dans le calcul ou l'achat de modules supplémentaires et n'est pas signalé par le CMA.

Cependant, les clients peuvent souhaiter estimer les implications s'ils prévoient d'exporter des données vers un stockage externe ou un SIEM. Les clients peuvent estimer approximativement le volume de données impliquées, en supposant qu'une unité de Data Lake (2,5 millions d'événements par heure) équivaut très approximativement à 180 Go par mois de stockage de données, comme illustré dans le tableau ci-dessous.

Notez que c'est une estimation très approximative. Les unités de Data Lake définissent le nombre maximum d'événements qui peuvent être générés en une heure. Il est évident qu'un client qui achète des unités pour faire face à des pics importants occasionnels dans la génération d'événements aura un besoin de stockage externe très différent d'un client qui achète le même nombre d'unités pour faire face à un nombre constamment élevé d'événements générés.

Le tableau suivant montre une estimation très approximative du total de Go selon la période de rétention :

(*) Certains contrats avec Cato peuvent inclure des termes qui diffèrent de l'information dans cet article