Afficher les journaux d'audit Dataproc

Ce document décrit les journaux d'audit créés par Dataproc dans le cadre des journaux d'audit Cloud.

Présentation

Les services Google Cloud génèrent des journaux d'audit pour vous aider à déterminer qui fait quoi, où et quand dans vos ressources Google Cloud.

Vos projets Google Cloud ne contiennent que les journaux d'audit des ressources directement intégrées au projet Cloud. Les autres ressources Google Cloud, telles que les dossiers, les organisations et les comptes de facturation, contiennent les journaux d'audit de l'entité elle-même.

Pour découvrir Cloud Audit Logs, consultez la page Cloud Audit Logs. Pour en savoir plus sur le format des journaux d'audit, consultez la page Comprendre les journaux d'audit.

Journaux d'audit disponibles

Les types de journaux d'audit suivants sont disponibles pour Dataproc:

  • Journaux d'audit pour les activités d'administration

    Ils incluent les opérations d'écriture administrateur qui écrivent des métadonnées ou des informations de configuration.

    Vous ne pouvez pas les désactiver.

  • Journaux d'audit des accès aux données

    Ils incluent les opérations de lecture administrateur qui lisent les métadonnées ou les informations de configuration. Inclut également les opérations de "lecture de données" et d'écriture de données qui lisent ou écrivent des données fournies par l'utilisateur.

    Pour recevoir les journaux d'audit relatifs à l'accès aux données, vous devez les activer explicitement.

Pour obtenir une description plus complète des types de journaux d'audit, consultez la section Types de journaux d'audit.

Opérations auditées

Vous trouverez ci-dessous un récapitulatif des opérations d'API correspondant à chaque type de journal d'audit dans Dataproc:

Catégorie de journal d'audit Dataproc
Journaux d'audit pour les activités d'administration
Ressource Dataproc Méthode REST Méthode RPC Type de ressource du journal d'audit
Stratégies d'autoscaling Créer AutoscalingPolicyService.CreateAutoscalingPolicy Audit_resource
Mettre à jour AutoscalingPolicyService.UpdateAutoscalingPolicy Audit_resource
Supprimer AutoscalingPolicyService.DeleteAutoscalingPolicy Audit_resource
SetIamPolicy IAMPolicy.SetIamPolicy Audit_resource
Clusters Créer ClusterController.CreateCluster cloud_dataproc_cluster
Corriger ClusterController.UpdateCluster cloud_dataproc_cluster
Diagnostiquer ClusterController.DiagnoseCluster cloud_dataproc_cluster
Supprimer ClusterController.DeleteCluster cloud_dataproc_cluster
Démarrer ClusterController.StartCluster cloud_dataproc_cluster
Arrêter ClusterController.StopCluster cloud_dataproc_cluster
SetIamPolicy IAMPolicy.SetIamPolicy cloud_dataproc_cluster
Jobs Envoyer JobController.SubmitJob cloud_dataproc_cluster
Envoyer une opération JobController.SubmitJobAsOperation cloud_dataproc_cluster
Mettre à jour JobController.UpdateJob Audit_resource
Annuler JobController.CancelJob cloud_dataproc_cluster
Supprimer JobController.DeleteJob cloud_dataproc_cluster
SetIamPolicy IAMPolicy.SetIamPolicy cloud_dataproc_cluster
Opérations Annuler Operations.CancelOperation cloud_dataproc_cluster
Supprimer Operations.DeleteOperation cloud_dataproc_cluster
SetIamPolicy IAMPolicy.SetIamPolicy cloud_dataproc_cluster
Modèles de workflows Créer WorkflowTemplateService.CreateWorkflowTemplate Audit_resource
Instancier WorkflowTemplateService.InstantiateWorkflowTemplate Audit_resource
InstancierInLine WorkflowTemplateService.InstantiateInlineWorkflowTemplate Audit_resource
Mettre à jour WorkflowTemplateService.UpdateWorkflowTemplates Audit_resource
Supprimer WorkflowTemplateService.DeleteWorkflowTemplate Audit_resource
SetIamPolicy IAMPolicy.SetIamPolicy Audit_resource
Lots Créer BatchController.CreateBatch Audit_resource
Supprimer BatchController.DeleteBatch Audit_resource
Journaux d'audit pour l'accès aux données
Ressource Dataproc Méthode REST Méthode RPC Type de ressource du journal d'audit
Stratégies d'autoscaling Obtenir AutoscalingPolicyService.GetAutoscalingPolicy Audit_resource
Liste AutoscalingPolicyService.ListAutoscalingPolicy Audit_resource
GetIamPolicy IAMPolicy.GetIamPolicy Audit_resource
Clusters Obtenir ClusterController.GetCluster cloud_dataproc_cluster
Liste ClusterController.ListClusters cloud_dataproc_cluster
GetIamPolicy IAMPolicy.GetIamPolicy cloud_dataproc_cluster
Jobs Obtenir JobController.GetJob cloud_dataproc_cluster
Liste JobController.ListJobs cloud_dataproc_cluster
GetIamPolicy IAMPolicy.GetIamPolicy cloud_dataproc_cluster
Opérations Obtenir Operations.GetOperation cloud_dataproc_cluster
Liste Operations.ListOperations cloud_dataproc_cluster
GetIamPolicy IAMPolicy.GetIamPolicy cloud_dataproc_cluster
Modèles de workflows Obtenir WorkflowTemplateService.GetWorkflowTemplate Audit_resource
Liste WorkflowTemplateService.GetWorkflowTemplates Audit_resource
GetIamPolicy IAMPolicy.GetIamPolicy Audit_resource
Lots Obtenir BatchController.GetBatch Audit_resource
Liste BatchController.ListBatches Audit_resource

Format des journaux d'audit

Les entrées des journaux d'audit comprennent les objets suivants :

  • L'entrée de journal proprement dite, qui est un objet de type LogEntry. Les champs utiles sont les suivants :

    • logName, qui contient l'ID de ressource et le type de journal d'audit
    • resource, qui contient la cible de l'opération auditée
    • timeStamp, qui indique l'heure à laquelle l'opération auditée a été effectuée
    • protoPayload, qui contient les informations auditées
  • Les données de journalisation d'audit, qui correspondent à un objet AuditLog inclus dans le champ protoPayload de l'entrée de journal

  • Un objet (facultatif) de type "informations d'audit propres au service". Pour les intégrations précédentes, cet objet est conservé dans le champ serviceData de l'objet AuditLog. Les intégrations ultérieures utilisent le champ metadata.

Pour en savoir plus sur les autres champs de ces objets, ainsi que sur leur interprétation, consultez la page Comprendre les journaux d'audit.

Nom du journal

Les noms des journaux Cloud Audit Logs incluent des identifiants de ressources qui désignent le projet Cloud ou toute autre entité Google Cloud dont ils dépendent et permettent également de déterminer si les journaux contiennent des données sur les activités d'administration, l'accès aux données, les refus de règles ou les événements système.

Voici les noms des journaux d'audit incluant des variables pour les identifiants de ressource :

   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Factivity
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Factivity
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Factivity
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fpolicy

Nom du service

Les journaux d'audit Dataproc utilisent le nom de service dataproc.googleapis.com.

Pour obtenir la liste de tous les noms de service de l'API Cloud Logging et du type de ressource surveillée correspondant, consultez la section Mapper des services sur des ressources.

Types de ressources

Les journaux d'audit Dataproc utilisent les types de ressources cloud_dataproc_cluster et audited_resource pour les journaux d'audit.

Pour obtenir la liste de tous les types de ressources surveillées Cloud Logging et des informations descriptives, consultez la section Types de ressources surveillées.

Activer la journalisation d'audit

Les journaux d'audit pour les activités d'administration sont toujours activés. Vous ne pouvez pas les désactiver.

Les journaux d'audit pour l'accès aux données sont désactivés par défaut et ne sont pas écrits à moins d'être explicitement activés (à l'exception de ceux pour BigQuery, qui ne peuvent pas être désactivés).

Pour savoir comment activer tout ou partie des journaux d'audit d'accès aux données, consultez la page Configurer les journaux d'audit pour l'accès aux données.

Autorisations et rôles

Les autorisations et les rôles IAM déterminent votre capacité à accéder aux données des journaux d'audit dans les ressources Google Cloud.

Lorsque vous décidez des autorisations et rôles spécifiques à Logging qui s'appliquent à votre cas d'utilisation, tenez compte des points suivants :

  • Le rôle Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule aux journaux d'audit des activités d'administration, des refus de règles et des événements système. Si vous ne disposez que de ce rôle, vous ne pouvez pas afficher les journaux d'audit d'accès aux données qui se trouvent dans les buckets _Required et _Default.

  • Le rôle Lecteur de journaux privés ((roles/logging.privateLogViewer) inclut les autorisations contenues dans roles/logging.viewer, ainsi que la possibilité de lire les journaux d'audit d'accès aux données dans les buckets _Required et _Default.

    Notez que si ces journaux privés sont stockés dans des buckets définis par l'utilisateur, tout utilisateur autorisé à lire les journaux dans ces buckets peut lire les journaux privés. Pour en savoir plus sur les buckets de journaux, consultez la page Présentation du routage et du stockage.

Pour en savoir plus sur les autorisations et les rôles IAM qui s'appliquent aux données des journaux d'audit, consultez la page Contrôle des accès avec IAM.

Voir les journaux

Pour interroger les journaux d'audit, vous devez connaître le nom du journal d'audit (qui inclut les identifiants de ressource du projet Cloud, du dossier, du compte de facturation Cloud ou de l'organisation pour lesquels vous souhaitez afficher les informations de journalisation d'audit). Dans votre requête, vous pouvez également spécifier d'autres champs LogEntry indexés, tels que resource.type. Pour en savoir plus sur l'interrogation, consultez la page Générer des requêtes dans l'explorateur de journaux.

Vous pouvez consulter les journaux d'audit dans Cloud Logging à l'aide de Cloud Console, de la CLI Google Cloud ou de l'API Logging.

Console

Dans Cloud Console, vous pouvez utiliser l'explorateur de journaux pour récupérer les entrées de votre journal d'audit concernant votre projet, votre dossier ou votre organisation Cloud:

  1. Dans Cloud Console, accédez à la page Logging> Logs Explorer (Explorateur de journaux).

    Accéder à l'explorateur de journaux

  2. Sélectionnez un projet, une organisation ou un dossier Cloud existant.

  3. Dans le volet Générateur de requêtes, procédez comme suit :

    • Dans Type de ressource, sélectionnez la ressource Google Cloud dont vous souhaitez afficher les journaux d'audit.

    • Dans Nom du journal, sélectionnez le type de journal d'audit que vous souhaitez afficher :

      • Pour les journaux d'audit pour les activités d'administration, sélectionnez activity.
      • Pour les journaux d'audit des accès aux données, sélectionnez data_access.
      • Pour les journaux d'audit des événements système, sélectionnez system_event.
      • Pour les journaux d'audit des refus de règles, sélectionnez policy.

    Si ces options ne sont pas visibles, cela signifie qu'aucun journal d'audit de ce type n'est disponible dans le projet, le dossier ou l'organisation Cloud.

    Si vous rencontrez des problèmes lors de la tentative d'affichage de journaux dans l'explorateur de journaux, consultez les informations de dépannage.

    Pour en savoir plus sur l'utilisation de l'explorateur de journaux pour effectuer des requêtes, consultez la page Créer des requêtes dans l'explorateur de journaux.

gcloud

Google Cloud CLI fournit une interface de ligne de commande à l'API Logging. Fournissez un identifiant de ressource valide dans chacun des noms de journaux. Par exemple, si votre requête inclut un PROJECT_ID, l'identifiant de projet que vous fournissez doit faire référence au projet Cloud actuellement sélectionné.

Pour lire les entrées de journal d'audit au niveau du projet Cloud, exécutez la commande suivante :

gcloud logging read "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com" \
    --project=PROJECT_ID

Pour lire les entrées de journal d'audit au niveau d'un dossier, exécutez la commande suivante :

gcloud logging read "logName : folders/FOLDER_ID/logs/cloudaudit.googleapis.com" \
    --folder=FOLDER_ID

Pour lire les entrées de journal d'audit au niveau de l'organisation, exécutez la commande suivante :

gcloud logging read "logName : organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com" \
    --organization=ORGANIZATION_ID

Pour lire les entrées de journal d'audit au niveau de votre compte de facturation Cloud, exécutez la commande suivante :

gcloud logging read "logName : billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com" \
    --billing-account=BILLING_ACCOUNT_ID

Ajoutez l'option --freshness à votre commande pour lire les journaux datant de plus d'une journée.

Pour en savoir plus sur l'utilisation de gcloud CLI, consultez la page gcloud logging read.

API

Lors de la création de vos requêtes, fournissez un identifiant de ressource valide dans chacun des noms de journaux. Par exemple, si votre requête inclut un PROJECT_ID, l'identifiant de projet que vous fournissez doit faire référence au projet Cloud actuellement sélectionné.

Par exemple, pour utiliser l'API Logging afin d'afficher les entrées de journal d'audit au niveau d'un projet, procédez comme suit :

  1. Accédez à la section Essayer cette API dans la documentation de la méthode entries.list.

  2. Insérez les éléments suivants dans la partie Corps de la requête du formulaire Essayer cette API. Cliquer sur ce formulaire prérempli permet de remplir automatiquement le corps de la requête. Cependant, vous devez fournir un ID de projet PROJECT_ID valide pour chaque nom de journal.

    {
      "resourceNames": [
        "projects/PROJECT_ID"
      ],
      "pageSize": 5,
      "filter": "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com"
    }
    
  3. Cliquez sur Exécuter.

Acheminer les journaux d'audit

Vous pouvez acheminer les journaux d'audit vers des destinations compatibles de la même manière que vous pouvez acheminer d'autres types de journaux. Voici quelques raisons pour lesquelles vous pouvez acheminer vos journaux d'audit :

  • Pour conserver les journaux d'audit pendant une période plus longue ou pour utiliser des fonctionnalités de recherche plus puissantes, vous pouvez exporter des copies des journaux d'audit vers Cloud Storage, BigQuery ou Pub/Sub. Avec Pub/Sub, vous avez la possibilité d'acheminer vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces.

  • Pour gérer les journaux d'audit à l'échelle de votre organisation, vous pouvez créer des récepteurs agrégés capables d'exporter les journaux pour un projet Cloud spécifique ou pour l'ensemble des projets Cloud de l'organisation.

  • Si les journaux d'audit des accès aux données que vous avez activés entraînent le dépassement du quota d'attribution de journaux défini pour vos projets Cloud, vous pouvez créer des récepteurs qui excluent les journaux d'audit des accès aux données de Logging.

Pour obtenir des instructions sur le routage des journaux, consultez la page Configurer et gérer les récepteurs.

Tarification

Pour en savoir plus sur les tarifs de Cloud Logging, consultez la page Tarifs de la suite d'opérations Google Cloud : Cloud Logging.