Présentation des exportations de journaux

Vous pouvez exporter des copies de tous vos journaux ou d'une partie d'entre eux en dehors de Stackdriver Logging. Les raisons pouvant justifier cette exportation sont les suivantes :

  • Stocker des journaux pendant des périodes prolongées : Stackdriver Logging conserve généralement les journaux pendant quelques semaines, et non des années. Pour en savoir plus, consultez les règles relatives aux quotas.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces.

Pour savoir comment exporter vos journaux, consultez la section Étapes suivantes à la fin de la page.

Présentation des exportations

Le schéma suivant illustre le traitement des entrées de journal exportées dans Stackdriver Logging :

Cycle de vie d'un journal

L'exportation implique d'écrire un filtre permettant de sélectionner les entrées de journal à exporter et de définir une destination dans Cloud Storage, BigQuery ou Cloud Pub/Sub. Le filtre et la destination sont consignés dans un objet appelé récepteur. Les récepteurs peuvent être créés dans des projets, des organisations, des dossiers et des comptes de facturation.

Dans Stackdriver Logging, l'exportation des journaux est gratuite et illimitée. En revanche, les destinations d'exportation font l'objet d'une facturation pour le stockage ou la transmission des données de journal.

Propriétés et terminologie des récepteurs

Les récepteurs possèdent les propriétés suivantes :

  • Identifiant du récepteur : le nom du récepteur. Par exemple, "my-vm-error-sink".

  • Ressource parente : la ressource dans laquelle vous créez le récepteur. Le parent est le plus souvent un projet, mais il peut s'agir de l'un des éléments suivants :

    "projects/[PROJECT_ID]"
    "folders/[FOLDER_ID]"
    "billingAccounts/[BILLINGACCOUNT_ID]"
    "organizations/[ORGANIZATION_ID]"
    

    Le récepteur peut exporter uniquement les journaux appartenant à sa ressource parente. Pour connaître la seule exception à cette règle, lisez la description de la propriété Exportations agrégées dans la suite de ce document.

    Le nom complet d'une ressource "récepteur" inclut la ressource parente et l'identifiant du récepteur. Par exemple :

    "projects/[PROJECT_ID]/sinks/[SINK_ID]"
    
  • Filtre de journaux : sélection des entrées de journal à exporter via ce récepteur. Pour en savoir plus, consultez la page Filtres de journaux avancés. Par exemple, le filtre suivant sélectionne toutes les entrées de journal avec un niveau de gravité ERREUR ou supérieur à partir d'une instance de VM Compute Engine spécifiée :

    resource.type = gce_instance AND
       resource.labels.instance_id = "[INSTANCE_ID]" AND
       severity >= ERROR
    
  • Destination : l'emplacement unique vers lequel vous souhaitez envoyer les entrées de journal correspondant à votre filtre. Trois types de destinations sont proposés :

    • Les buckets Cloud Storage offrent un stockage économique et à long terme :

      storage.googleapis.com/[BUCKET_ID]
      
    • Les ensembles de données BigQuery offrent des capacités d'analyse big data :

      bigquery.googleapis.com/projects/[PROJECT_ID]/datasets/[DATASET_ID]
      
    • Les sujets Cloud Pub/Sub diffusent vos entrées de journal vers d'autres applications ou dépôts.

      pubsub.googleapis.com/projects/[PROJECT_ID]/topics/[TOPIC_ID]
      

    Dans la visionneuse de journaux, vous pouvez également utiliser l'option Destination personnalisée lors de la création d'une exportation pour envoyer vos journaux depuis un projet vers le récepteur d'un autre projet. Pour plus d'informations, consultez la section Créer des récepteurs.

    Vous pouvez exporter des journaux vers des destinations dans n'importe quel projet, à condition que la destination d'exportation autorise l'accès en tant que rédacteur au compte de service du récepteur.

  • Identité du rédacteur : un nom de compte de service. Le propriétaire de la destination d'exportation doit accorder à ce compte de service un accès en écriture à la destination d'exportation. Lors de l'exportation des journaux, Stackdriver Logging adopte cette identité pour l'autorisation. Pour une sécurité accrue, les nouveaux récepteurs obtiennent un compte de service unique :

    [GENERATED_ID_1]@[GENERATED_ID_2].iam.gserviceaccount.com
    

    Pour en savoir plus, consultez la section Autorisations des destinations.

  • Exportations agrégées : la propriété includeChildren est décrite sur la page . Elle ne concerne que les récepteurs créés pour des organisations ou des dossiers.

Pour en savoir plus sur les récepteurs, consultez les pages relatives à l'objet LogSink et à la méthode d'API projects.sinks.create, ainsi que la page Exporter des journaux dans l'API.

Fonctionnement des récepteurs

Chaque fois qu'une entrée de journal arrive dans un projet, un dossier, un compte de facturation ou une organisation, Stackdriver Logging compare l'entrée de journal aux récepteurs de cette ressource. Chaque récepteur dont le filtre correspond à l'entrée de journal génère une copie de cette entrée dans la destination d'exportation qui lui est associée.

Comme l'exportation n'est effectuée que pour les nouvelles entrées de journal, vous ne pouvez pas exporter celles reçues par Stackdriver Logging avant la création du récepteur.

Contrôle des accès

Pour créer ou modifier un récepteur, vous devez disposer du rôle IAM de propriétaire ou de rédacteur de configuration des journaux Logging dans la ressource parente du récepteur. Pour afficher les récepteurs existants, vous devez disposer du rôle IAM de lecteur ou de lecteur de journaux Logging dans la ressource parente du récepteur. Pour plus d'informations, consultez la section Contrôle des accès.

Pour exporter des journaux vers une destination, le compte de service "Rédacteur" du récepteur doit disposer d'un accès en écriture sur la destination. Pour plus d'informations sur les identités de rédacteur, consultez la section précédente Propriétés et terminologie des récepteurs.

Pour protéger les journaux exportés d'éventuels accès non autorisés, vous devez utiliser les fonctionnalités de contrôle d'accès de votre destination d'exportation. Les récepteurs peuvent exporter n'importe quelle entrée de journal, y compris celles des journaux d'audit privés relatifs à l'accès aux données.

Dépannage

Voici quelques problèmes courants que vous pouvez rencontrer lors de l'exportation de journaux, ainsi que les solutions pour y remédier :

  • Erreurs de la destination : vérifiez la spécification de la destination d'exportation dans le récepteur. Utilisez la méthode projects.sinks.get pour rechercher l'identité du rédacteur pour votre récepteur, puis vérifiez que cette identité dispose d'un accès en écriture à votre destination d'exportation. Votre récepteur commence à exporter les journaux une fois les erreurs corrigées.

  • Aucun journal n'est exporté. Voici quelques raisons possibles pour ce problème :

    • Aucune entrée de journal correspondante n'a été reçue depuis la création de votre récepteur. Seules les nouvelles entrées de journaux sont exportées.
    • Votre filtre est incorrect. Un mot mal orthographié dans le filtre peut empêcher la mise en correspondance des entrées de journal. Essayez d'appliquer le même filtre depuis l'interface de filtrage avancé de la visionneuse de journaux pour voir s'il correspond à des entrées de journal.
    • Un délai est nécessaire avant que vos journaux exportés s'affichent dans la destination, surtout pour les destinations Cloud Storage. Consultez la section relative à la disponibilité des journaux exportés.

Étapes suivantes

Exporter des journaux

Pour savoir comment exporter des journaux, consultez les ressources suivantes :

Rechercher et utiliser des journaux exportés

Pour en savoir plus sur le format des entrées de journaux exportées et sur l'organisation des journaux exportés dans les destinations, consultez la page Utiliser des journaux exportés.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Stackdriver Logging
Besoin d'aide ? Consultez notre page d'assistance.