Présentation des exportations de journaux

Cette page présente les concepts liés à l'exportation de journaux à l'aide de Cloud Logging.

Pour découvrir comment exporter des journaux, consultez la section Étapes suivantes ci-après.

Vous pouvez exporter une copie de tous vos journaux ou une partie d'entre eux vers différentes destinations de récepteur. Vous pouvez exporter les journaux pour les raisons suivantes :

  • Stocker des journaux pendant des périodes prolongées : Stackdriver Logging conserve généralement les journaux pendant quelques semaines, et non des années. Pour en savoir plus, consultez la section Durée de conservation des journaux.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces.

Pour en savoir plus sur les scénarios courants d'exportation de journaux, consultez la section Scénarios d'exportation de journaux de la page Modèles de conception pour l'exportation vers Cloud Logging.

Fonctionnement des exportations

Le schéma suivant illustre la manière dont Cloud Logging traite les entrées de journal exportées :

Schéma illustrant le routage des entrées des journaux par Cloud Logging.

Tous les journaux, y compris les journaux d'audit, les journaux de plate-forme et les journaux utilisateur, sont envoyés à l'API Cloud Logging, où ils transitent par le routeur de journaux. Le routeur de journaux compare chaque entrée de journal aux règles existantes pour déterminer les entrées de journal à ingérer (stocker), les entrées de journal à inclure dans les exportations et les entrées de journal à supprimer. Pour en savoir plus, consultez la présentation du routeur de journaux.

L'exportation implique l'écriture d'un filtre qui sélectionne les entrées de journal que vous souhaitez exporter, ainsi qu'une destination dans Cloud Storage, BigQuery, Pub/Sub ou Cloud Logging. Le filtre et la destination sont consignés dans un objet appelé récepteur. Les récepteurs peuvent être créés dans des projets, des organisations, des dossiers et des comptes de facturation Google Cloud.

Propriétés et terminologie des récepteurs

Les récepteurs possèdent les propriétés suivantes :

  • Identifiant du récepteur : le nom du récepteur. Exemple : my-vm-error-sink

  • Ressource parente : la ressource dans laquelle vous créez le récepteur. Le parent est le plus souvent un projet, mais il peut s'agir de l'un des éléments suivants :

    "projects/[PROJECT_ID]"
    "folders/[FOLDER_ID]"
    "billingAccounts/[BILLING_ACCOUNT_ID]"
    "organizations/[ORGANIZATION_ID]"
    

    Le récepteur peut exporter uniquement les journaux appartenant à sa ressource parente. Pour connaître la seule exception à cette règle, lisez la description de la propriété Exportations agrégées dans la suite de ce document.

    Le nom complet d'une ressource "récepteur" inclut la ressource parente et l'identifiant du récepteur. Exemple :

    "projects/[PROJECT_ID]/sinks/[SINK_ID]"
    
  • Filtre de journaux : sélection des entrées de journal à exporter via ce récepteur. Pour obtenir des exemples de filtres, consultez la page Exemples de requêtes.

  • Destination : l'emplacement unique vers lequel vous souhaitez envoyer les entrées de journal correspondant à votre filtre. Les destinations suivantes sont acceptées :

    • Les buckets Cloud Storage offrent un stockage économique et à long terme :

      storage.googleapis.com/[BUCKET_ID]
      
    • Les ensembles de données BigQuery offrent des capacités d'analyse big data :

      bigquery.googleapis.com/projects/[PROJECT_ID]/datasets/[DATASET_ID]
      
    • Les sujets Pub/Sub diffusent vos entrées de journal vers d'autres applications ou dépôts.

      pubsub.googleapis.com/projects/[PROJECT_ID]/topics/[TOPIC_ID]
      
    • Les buckets Logging offrent un espace de stockage avec des durées de conservation personnalisables :

      logging.googleapis.com/projects/[PROJECT_ID]/locations/[REGION]/buckets/[BUCKET_ID]
      

    Dans la visionneuse de journaux, vous pouvez également utiliser l'option Destination personnalisée lors de la création d'une exportation pour envoyer vos journaux depuis un projet vers le récepteur d'un autre projet. Pour en savoir plus, consultez la section Créer des récepteurs.

    Vous pouvez exporter des journaux vers des destinations dans n'importe quel projet, à condition que la destination d'exportation autorise l'accès en tant que rédacteur au compte de service du récepteur.

  • Identité du rédacteur : un nom de compte de service. Le propriétaire de la destination d'exportation doit accorder à ce compte de service un accès en écriture à la destination d'exportation. Lors de l'exportation des journaux, Stackdriver Logging adopte cette identité pour l'autorisation. Pour une sécurité accrue, les nouveaux récepteurs obtiennent un compte de service unique :

    [GENERATED_ID_1]@[GENERATED_ID_2].iam.gserviceaccount.com
    

    Pour en savoir plus, consultez la section Autorisations des destinations.

  • Exportations agrégées : la propriété includeChildren est décrite sur la page Exportations agrégées. Elle ne concerne que les récepteurs créés pour des organisations ou des dossiers.

Pour en savoir plus sur les récepteurs, consultez les pages concernant l'objet LogSink et la méthode d'API projects.sinks.create, ainsi que la page Exporter des journaux dans l'API.

Fonctionnement des récepteurs

Chaque fois qu'une entrée de journal arrive dans un projet, un dossier, un compte de facturation ou une organisation, Stackdriver Logging compare l'entrée de journal aux récepteurs de cette ressource. Chaque récepteur dont le filtre correspond à l'entrée de journal génère une copie de cette entrée dans la destination d'exportation qui lui est associée.

Contrôle des accès

Pour créer ou modifier un récepteur, vous devez disposer du rôle de propriétaire ou de rédacteur de configuration des journaux Logging dans la ressource parente du récepteur. Pour afficher les récepteurs existants, vous devez disposer du rôle IAM de lecteur ou de lecteur de journaux Logging dans la ressource parente du récepteur. Pour en savoir plus, consultez la page Contrôle des accès.

Pour exporter des journaux vers une destination, le compte de service "Rédacteur" du récepteur doit disposer d'un accès en écriture sur la destination. Pour en savoir plus sur les identités de rédacteur, consultez la section Propriétés et terminologie des récepteurs ci-dessus.

Prix

Cloud Logging ne facture pas l'exportation des journaux, mais des frais de destination peuvent s'appliquer. Pour en savoir plus, consultez la page des tarifs du produit concerné :

Notez également que si vous exportez vos journaux de flux de cloud privé virtuel (VPC) puis que vous les excluez dans Cloud Logging, des frais de génération des journaux de flux VPC s'appliquent en plus des frais de destination.

Étapes suivantes

Exporter des journaux

Pour savoir comment exporter des journaux, consultez les ressources suivantes :

Rechercher et utiliser des journaux exportés

Pour en savoir plus sur le format des entrées de journal exportées et sur l'organisation des journaux exportés dans les destinations, consultez la page Utiliser des journaux exportés.

Découvrir les scénarios d'exportation de journaux

Les tutoriels suivants décrivent les scénarios pour lesquels vous pouvez exporter des journaux. Chaque scénario décrit les exigences, la configuration ainsi que l'utilisation, et explique comment partager les exportations.