Limites de pic
Ce document décrit les limites de pic qui s'appliquent aux ressources Google Security Operations, en particulier le volume de données pouvant être ingéré dans Google SecOps par un seul client. Les limites de pic limitent l'utilisation des ressources partagées par tous les clients:
- Limite supérieure de la quantité de données pouvant être ingérées par un seul client. Cela garantit qu'un afflux soudain de données d'un seul client n'affecte pas les autres.
- Surveille l'utilisation des ressources partagées par chaque client.
- Gère les configurations qui appliquent automatiquement les limites de pic.
- Fournit un moyen de demander ou d'effectuer des modifications des limites de pic.
Pour la protection contre les surtensions, la limite de pic est mesurée sur des périodes de cinq minutes. Il ne s'agit pas d'une limite d'ingestion quotidienne.
Augmentation de la limite de pic par client
Si vous prévoyez d'augmenter rapidement votre taux d'ingestion, nous pouvons vous aider à planifier à l'avance et à vous assurer que l'ingestion de vos données reste stable. Pour demander une augmentation de votre limite de pic, contactez l'assistance technique Google SecOps à l'avance.
Présentation des limites de rafales
Les limites de pic limitent la quantité de données qu'un client peut envoyer à Google SecOps. Cela garantit l'équité et évite que les autres clients ne soient affectés par les pics d'ingestion d'un seul client. Les limites de pic d'ingestion garantissent que l'ingestion des données client fonctionne correctement et peuvent être ajustées de manière proactive à l'aide d'une demande d'assistance. Pour appliquer des limites de pic, Google SecOps utilise les classifications suivantes en fonction du volume d'ingestion:
| Limite de débit | Données équivalentes annuelles à la limite d'utilisation intensive maximale par seconde |
|---|---|
| 20 Mbit/s | 600 To |
| 88 Mbit/s | 2,8 Po |
| 350 Mo/s | 11 Po |
| 886 Mbit/s | 28 Po |
| 2,6 Gbit/s | 82 Po |
Les consignes suivantes s'appliquent aux limites de pic:
Lorsque la limite d'ingestion est atteinte, les sources d'ingestion correctement configurées doivent être définies pour mettre en mémoire tampon les données supplémentaires. Elles ne doivent pas être configurées pour supprimer les données.
- Pour l'ingestion basée sur la pull, comme les flux Google Cloud et les API, l'ingestion est mise en mémoire tampon automatiquement et ne nécessite aucune configuration supplémentaire.
- Pour les méthodes d'ingestion basées sur le push, telles que les transferts, les webhooks et l'ingestion par API, configurez les systèmes pour qu'ils renvoient automatiquement les données lorsque la limite de pic est atteinte. Pour des systèmes tels que Bindplane et Cribl, configurez la mise en mémoire tampon pour gérer efficacement le débordement de données.
Avant d'atteindre votre limite de rafales, vous pouvez l'augmenter.
Pour déterminer si vous êtes sur le point d'atteindre votre limite de pic, consultez Afficher l'utilisation de la limite de pic.
Afficher l'utilisation de la limite de pic
Vous pouvez consulter l'utilisation de votre limite de pic à l'aide de Google SecOps ou de Cloud Monitoring.
Afficher vos limites de pic à l'aide du tableau de bord Google SecOps
Pour afficher l'utilisation limitée, utilisez les visualisations suivantes dans le tableau de bord Ingestion et état des données de Google SecOps:
- Graphique de la limite d'ingestion: affiche le taux d'ingestion par rapport à la limite par seconde.
- Graphique de refus de pics: affiche le volume des journaux refusés pour avoir dépassé la limite de pics.
Pour afficher les visualisations Graphique de la limite de rafales et Graphique de refus de rafales, procédez comme suit:
- Dans le menu Google SecOps, sélectionnez Tableaux de bord.
Dans la section Tableaux de bord par défaut, sélectionnez Ingestion et état des données.
Dans le tableau de bord Ingestion et état des données qui s'affiche, vous pouvez afficher les visualisations Graphique de la limite de pic et Graphique de refus de pic.
Afficher les limites de pic à l'aide de Cloud Monitoring
Pour afficher les limites de pic Google SecOps dans la console Google Cloud , vous avez besoin des mêmes autorisations que pour toute limite Google Cloud . Pour en savoir plus, consultez Accorder l'accès à Cloud Monitoring.
Pour savoir comment afficher des métriques à l'aide de graphiques, consultez Créer des graphiques avec l'explorateur de métriques.
Pour afficher l'utilisation de votre limite de pic, utilisez la requête PromQL suivante:
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))
Pour afficher le nombre d'octets rejetés après avoir dépassé la limite de pic, utilisez la requête PromQL suivante:
sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))
Pour créer une alerte lorsque les octets ingérés dépassent 70% de la limite de pic, utilisez la requête PromQL suivante:
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70
Mettre en mémoire tampon les données à la source d'ingestion
Le tableau suivant décrit la configuration nécessaire pour mettre en mémoire tampon (plutôt que de supprimer) les données de votre entreprise en fonction de votre source d'ingestion.
| Source de l'ingestion | Configuration de la mise en mémoire tampon |
|---|---|
| Google Cloud et flux de l'API Chronicle | Mise en mémoire tampon automatique |
| Transmetteurs, webhooks et ingestion d'API | Configurer les nouvelles tentatives |
| Bindplane, Cribl et les forwarders | Configurer une file d'attente persistante |
Dépannage
Les consignes suivantes vous aideront à ne pas dépasser votre limite de pic:
- Créez une alerte d'ingestion qui vous avertit lorsque le volume d'octets ingérés dépasse le seuil de limite de pic. Pour en savoir plus sur la configuration des alertes d'ingestion, consultez Utiliser Cloud Monitoring pour les notifications d'ingestion.
Pour identifier les sources et le volume d'ingestion, créez une alerte de surveillance avec
collector_idetlog_type, ainsi que la métriquechronicle.googleapis.com/ingestion/log/bytes_count. Pour identifier les sources et le volume d'ingestion, utilisez la requête PromQL suivante:sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))Si vous prévoyez que votre volume d'ingestion augmentera plus de quatre fois votre volume d'ingestion normal, contactez l'assistance technique Google SecOps à l'avance pour augmenter votre limite de pic.
Si vous utilisez un transpondeur Google SecOps pour ingérer des données, vous pouvez utiliser des tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite de pic. Pour en savoir plus, consultez Utiliser des tampons de disque pour les transferts.
Le tableau suivant répertorie les méthodes d'ingestion et l'action correspondante à effectuer lorsque vous atteignez la limite de pic:
| Mode d'ingestion | Action suggérée |
|---|---|
| API d'ingestion | Attendez d'être en dessous de votre limite de débit. Si vous souhaitez reprendre l'ingestion plus tôt, contactez l'assistance technique Google SecOps. |
| Gestion des flux | Attendez d'être en dessous de votre limite de débit. Si vous souhaitez reprendre l'ingestion plus tôt, contactez l'assistance technique Google SecOps. |
| Redirecteur | Utilisez des tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite de pic. |
| Ingestion push HTTPS qui utilise Amazon Kinesis Data Streams, Pub/Sub ou des webhooks. | Assurez-vous que la durée de conservation est définie sur la valeur maximale possible. Par exemple, pour définir la durée de conservation de Pub/Sub, consultez Configurer la conservation des messages d'abonnement. |
Utiliser des tampons de disque pour les transferts
Si vous utilisez le transpondeur SIEM Google SecOps, nous vous recommandons de commencer à utiliser des tampons de disque pour tamponner les données lorsque vous dépassez votre limite de pic. La taille maximale de RAM utilisée par le collecteur est de 4 Go. Vous pouvez définir cette limite à l'aide du paramètre max_file_buffer_bytes dans la configuration du collecteur. Pour mettre en mémoire tampon des données de plus de 4 Go, utilisez des tampons de disque. Pour déterminer la taille de la mémoire tampon de disque, identifiez le débit d'ingestion des transferts à l'aide de la requête MQL suivante:
sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))
Par exemple, si le débit d'ingestion du forwarder est de 415 kbit/s et que l'efficacité de compression de la mémoire tampon est de 70%, le débit de remplissage de la mémoire tampon est calculé comme suit : 415 kbit/s x (100% - 70%) = 124,5 kbit/s. À ce rythme, une taille de mémoire tampon de 1 Go, qui est la valeur par défaut de la mémoire tampon en mémoire, se remplit en 2 heures et 20 minutes. Le calcul est le suivant : 1 024 x 1 024 / 124,5 = 8 422,297 secondes = 2 heures et 20 minutes. Si vous avez dépassé votre limite de pic, vous avez besoin d'un disque de 100 Go pour mettre en mémoire tampon les données pendant une journée.
Questions fréquentes
Quelle erreur est déclenchée lorsque vous dépassez la limite de pic ?
Lorsque vous dépassez la limite de pic, vous recevez l'erreur HTTP 429.
Comment résoudre l'erreur HTTP 429 ?
Réessayez la requête au bout de cinq minutes.
À quelle fréquence les limites de rafales sont-elles actualisées ?
Les limites d'utilisation intensive sont actualisées toutes les cinq minutes.