Limites de pics
Ce document décrit les limites de pic qui s'appliquent aux ressources Google Security Operations, en particulier le volume de données pouvant être ingéré dans Google SecOps par un seul client. Les limites de pic limitent l'utilisation des ressources partagées par tous les clients :
- Limite supérieure de la quantité d'ingestion de données pouvant être utilisée par un seul client. Cela garantit qu'un afflux soudain de données d'un seul client n'affecte pas les autres.
- Surveille l'utilisation des ressources partagées par chaque client.
- Gère les configurations qui appliquent automatiquement les limites de pic.
- Permet de demander ou de modifier des limites d'utilisation intensive.
Pour la protection contre les surtensions, la limite de pic est mesurée sur des périodes de cinq minutes. Il ne s'agit pas d'une limite d'ingestion quotidienne.
Augmentation de la limite de pic par client
Si vous avez l'intention d'augmenter rapidement votre taux d'ingestion, nous pouvons vous aider à planifier votre ingestion de données et à garantir sa stabilité. Pour demander une augmentation de votre limite de pic, contactez l'assistance technique Google SecOps à l'avance.
Présentation des limites d'utilisation intensive
Les limites de pic limitent la quantité de données qu'un client peut envoyer à Google SecOps. Cela garantit l'impartialité et évite tout impact sur d'autres en raison des pics d'ingestion d'un seul client. Limites d'utilisation intensive s'assurer que l'ingestion des données client fonctionne correctement et qu'elle peut être ajustée de manière proactive à l'aide d'une demande d'assistance. Pour appliquer des limites d'utilisation intensive, Google SecOps utilise les classifications suivantes : selon le volume ingéré:
| Limite de pic | Données annuelles équivalentes à la limite maximale d'utilisation intensive par seconde |
|---|---|
| 88 Mbit/s | 2,8 Po |
| 350 Mbit/s | 11 Po |
| 886 Mbit/s | 28 Po |
| 2,6 Gbit/s | 82 Po |
Les consignes suivantes s'appliquent aux limites de pics :
- Les limites d'utilisation intensive sont deux à sept fois supérieures à votre limite d'ingestion actuelle.
- Une fois la limite d'utilisation intensive atteinte, les sources d'ingestion correctement configurées doivent être placées dans la mémoire tampon pour les données supplémentaires. Ils ne doivent pas être configurés
pour supprimer les données.
- Pour l'ingestion basée sur la pull, comme les flux Google Cloud et les API, l'ingestion est mise en mémoire tampon automatiquement et ne nécessite aucune configuration supplémentaire.
- Pour l'ingestion en mode Push telle que les redirecteurs, les webhooks et l'ingestion d'API, configurez les systèmes pour renvoyer les données lorsque la limite d'utilisation intensive est atteinte. Pour BindPlane et Crible, configurez la mise en mémoire tampon.
- Avant d'atteindre votre limite de rafales, vous pouvez l'augmenter.
- Pour déterminer si vous êtes proche de votre limite de pic, consultez Afficher l'utilisation de la limite de pic.
Afficher l'utilisation de la limite de pic
Vous pouvez consulter votre utilisation de la limite d'utilisation intensive à l'aide de Google SecOps ou de Cloud Monitoring.
Afficher vos limites de pic à l'aide du tableau de bord Google SecOps
Pour afficher l'utilisation limitée, utilisez les visualisations suivantes dans le tableau de bord Ingestion et état des données de Google SecOps :
- Graphique sur la limite d'ingestion: affiche le taux d'ingestion par rapport à la limite par seconde.
- Graphique de refus de pic : affiche le volume des journaux refusés pour avoir dépassé la limite de pic.
Pour afficher les visualisations Graphique de la limite de rafales et Graphique de refus de rafales, procédez comme suit :
- Dans le menu Google SecOps, sélectionnez Tableaux de bord.
Dans la section Tableaux de bord par défaut, sélectionnez Ingestion et état des données.
Dans le tableau de bord Ingestion de données et état de santé qui s'affiche, vous pouvez consulter les Visualisations Graphique de limite de rafale et Graphique de refus en rafale
Utiliser Cloud Monitoring pour afficher les limites d'utilisation intensive
Pour afficher les limites d'utilisation intensive de Google SecOps dans la console Google Cloud, vous devez disposer des éléments suivants : les mêmes autorisations que pour toute limite Google Cloud. Pour en savoir plus, consultez Accorder l'accès à Cloud Monitoring.
Pour savoir comment afficher les métriques à l'aide de graphiques, consultez Créer des graphiques avec l'Explorateur de métriques.
Pour afficher l'utilisation de votre limite de pic, utilisez la requête PromQL suivante :
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))
Pour afficher le nombre d'octets rejetés après avoir dépassé la limite de pic, utilisez la requête PromQL suivante :
sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))
Pour créer une alerte lorsque les octets ingérés dépassent 70% de la limite d'utilisation intensive, utilisez la requête PromQL suivante:
100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70
Mettre les données en mémoire tampon au niveau de la source d'ingestion
Le tableau suivant décrit la configuration nécessaire pour mettre en mémoire tampon (plutôt que de supprimer) les données de votre entreprise en fonction de votre source d'ingestion.
| Source de l'ingestion | Configuration de la mise en mémoire tampon |
|---|---|
| Flux d'API Google Cloud et Chronicle | Mise en mémoire tampon automatique |
| Transmetteurs, webhooks et ingestion d'API | Configurer les nouvelles tentatives |
| BindPlane, Cribl et Forwarders | Configurer une file d'attente persistante |
Dépannage
Les consignes suivantes vous aideront à ne pas dépasser votre limite de pic :
- Créez une alerte d'ingestion qui vous avertit lorsque le volume des octets ingérés dépasse le seuil de la limite d'utilisation intensive. Pour en savoir plus sur la configuration des alertes d'ingestion, consultez Utiliser Cloud Monitoring pour les notifications d'ingestion.
Pour identifier les sources et le volume d'ingestion, créez une alerte de surveillance avec
collector_idetlog_type, ainsi que la métriquechronicle.googleapis.com/ingestion/log/bytes_count. Pour identifier les sources et le volume d'ingestion, utilisez la requête PromQL suivante :sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))Si vous pensez que votre volume ingérera plus de quatre fois plus que votre volume d'ingestion normal d'assistance, contactez l'assistance technique Google SecOps à l'avance pour augmenter votre limite d'utilisation intensive.
Si vous utilisez un forwarder Google SecOps pour ingérer des données, vous pouvez utiliser des tampons de disque pour tamponner les données lorsque vous dépassez votre limite de pic. Pour en savoir plus, consultez la section Utiliser des tampons de disque pour les redirecteurs.
Le tableau suivant répertorie les méthodes d'ingestion et l'action correspondante à effectuer lorsque vous atteignez la limite de pic :
| Mode d'ingestion | Action suggérée |
|---|---|
| API d'ingestion | Attendez d'être de nouveau en dessous de votre limite de débit. Si vous souhaitez reprendre l'ingestion plus tôt, contactez l'assistance technique Google SecOps. |
| Gestion des flux | Attendez d'être de nouveau en dessous de votre limite de débit. Si vous souhaitez reprendre l'ingestion plus tôt, contactez l'assistance technique Google SecOps. |
| Redirecteur | Utilisez des tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite d'utilisation intensive. |
| Ingestion HTTPS push qui utilise Amazon Data Kinesis, Pub/Sub ou des webhooks. | Assurez-vous que la durée de conservation est définie sur la valeur maximale possible. Par exemple, pour définir la durée de conservation de Pub/Sub, consultez la section Configurer la conservation des messages pour l'abonnement. |
Utiliser des tampons de disque pour les transferts
Si vous utilisez le redirecteur SIEM Google SecOps, nous vous recommandons de commencer à l'aide de tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite d'utilisation intensive. La taille maximale de RAM utilisée par le collecteur est de 4 Go. Vous pouvez définir cette limite à l'aide du paramètre max_file_buffer_bytes dans le collecteur configuration. Pour mettre en mémoire tampon des données de plus de 4 Go, utilisez des tampons de disque. Pour décider de la taille de la mémoire tampon du disque, Identifiez le taux d'ingestion des redirecteurs à l'aide de la requête MQL suivante:
sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))
Par exemple, si le taux d'ingestion du redirecteur est de 415 kbit/s et que le tampon est de 70%, le taux de remplissage du tampon est calculé comme suit : 415 kbit/s x (100% - 70%) = 124,5 kbit/s. À ce débit, une taille de mémoire tampon de 1 Go, la valeur par défaut de la mémoire tampon en mémoire, se remplit en 2 heures et 20 minutes. Le calcul est 1 024 x 1 024 / 124,5 = 8 422,297 secondes = 2 heures et 20 minutes. Si vous avez dépassé la limite d'utilisation intensive, vous avez besoin d'un disque de 100 Go pour mettre les données en mémoire tampon pendant une journée.
Questions fréquentes
Quelle erreur se déclenche lorsque vous dépassez la limite d'utilisation intensive ?
Lorsque vous dépassez la limite de pic, vous recevez l'erreur HTTP 429.
Comment résoudre l'erreur HTTP 429 ?
Réessayez la requête au bout de cinq minutes.
À quelle fréquence les limites d'utilisation intensive sont-elles actualisées ?
Les limites d'utilisation intensive sont actualisées toutes les cinq minutes.