Façonnez l'avenir des opérations logicielles et faites entendre votre voix en répondant à l'enquête sur l'état du DevOps en 2021.

Présentation des exportations de journaux

Cette page présente les concepts des récepteurs d'exportation, qui contrôlent la manière dont Cloud Logging achemine les journaux.

À l'aide de récepteurs, vous pouvez acheminer une partie ou la totalité de vos journaux vers des destinations compatibles, ou exclure certaines entrées de journal afin d'être stockées dans Cloud Logging. Vous voudrez peut-être contrôler la façon dont vos journaux sont routés pour les raisons suivantes:

  • Pour stocker des journaux qui ne sont pas nécessairement lus, mais qui doivent être conservés à des fins de conformité.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces.

Fonctionnement des récepteurs

Toutes les entrées de journal écrites dans l'API Cloud Logging passent par le routeur de journaux. Chaque fois qu'une entrée de journal arrive dans un projet, un dossier, un compte de facturation ou une ressource d'organisation Cloud, Logging compare l'entrée de journal aux filtres des récepteurs associés à la ressource.

En fonction de la configuration du récepteur de journaux, qui inclut des filtres et une destination, chaque entrée de journal reçue par Cloud Logging appartient à une ou plusieurs de ces catégories:

  • Stocké dans Cloud Logging et non routés ailleurs
  • Stocké dans Cloud Logging et routés vers une destination compatible
  • Non stocké dans Cloud Logging, mais acheminé vers une destination compatible
  • Ni stockées dans Cloud Logging ni routé ailleurs
    • Ces journaux sont entièrement exclus

Cloud Logging fournit deux récepteurs de journaux prédéfinis pour chaque projet Google Cloud : _Required et _Default. Tous les journaux générés dans un projet Google Cloud sont automatiquement traités via ces deux récepteurs de journaux, puis sont stockés dans le nom correspondant_Required et_Default buckets de journaux s'affiche en haut de l'écran.

Les récepteurs de journaux agissent indépendamment les uns des autres. Quelle que soit la manière dont les récepteurs de journaux prédéfinis traitent vos entrées de journal, vous pouvez créer des récepteurs pour acheminer tout ou partie de vos journaux vers différentes destinations compatibles ou pour les exclure complètement de Cloud Logging.

Les récepteurs sont généralement créés dans des projets Google Cloud. Pour configurer des récepteurs au niveau de l'organisation, d'un dossier ou d'un compte de facturation, utilisez des récepteurs agrégés.

Pour plus d'informations sur la façon dont les récepteurs acheminent les journaux, consultez la section Présentation du routeur de journaux.

.

Destinations compatibles

Le routage des journaux implique la création d'un récepteur avec un filtre qui sélectionne les entrées de journal que vous souhaitez router, et choisissez une destination parmi les options suivantes:

  • Cloud Storage : fichiers JSON stockés dans des buckets Cloud Storage fournit un stockage économique à long terme.
  • BigQuery: tables créées dans des ensembles de données BigQuery fournit des capacités d'analyse big data.
  • Pub/Sub : messages au format JSON envoyés aux sujets Pub/Sub est compatible avec les intégrations tierces, telles que Splunk, avec Logging.
  • Cloud Logging: entrées des journaux conservées dans des buckets journaux offrant un stockage dans Cloud Logging avec des durées de conservation personnalisables.

Propriétés et terminologie des récepteurs

Les récepteurs possèdent un certain nombre de propriétés, y compris les filtres ci-dessus et une destination:

  • Identifiant du récepteur: nom du récepteur. Par exemple, my-vm-error-sink.

  • Ressource parente: ressource Google Cloud dans laquelle vous créez le récepteur. Le parent peut être l'un des suivants:

    • projects/PROJECT_ID
    • folders/FOLDER_ID
    • billingAccounts/BILLING_ACCOUNT_ID
    • organizations/ORGANIZATION_ID

    Les récepteurs acheminent les journaux appartenant à leur ressource parente. Vous pouvez également utiliser des récepteurs agrégés pour combiner et acheminer les journaux de tous les projets, dossiers et comptes de facturation Cloud d'une organisation Google Cloud.

    Le nom complet d'une ressource "récepteur" inclut la ressource parente et l'identifiant du récepteur. Exemple :

    projects/PROJECT_ID/sinks/SINK_ID

  • Filtre d'inclusion: sélectionne les entrées de journal à acheminer via ce récepteur. Pour obtenir des exemples de filtres d'inclusion, consultez la page Exemples de requêtes.

  • Filtre d'exclusion: sélectionne les entrées de journal à exclure explicitement du routage, même si elles correspondent au filtre d'inclusion du récepteur.

    Notez qu'un récepteur peut contenir plusieurs filtres d'exclusion. Si une entrée de journal correspond à l'un des filtres, l'entrée de journal est exclue du routage.

  • Destination: endroit où envoyer les entrées de journal correspondant à votre filtre. Voici les noms des destinations compatibles:

    • Buckets Cloud Storage : storage.googleapis.com/BUCKET_ID

    • Ensembles de données BigQuery : bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

    • Sujets Pub/Sub : pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

    • Buckets de journaux Logging : logging.googleapis.com/projects/PROJECT_ID/locations/REGION/buckets/BUCKET_ID

    Dans l'Explorateur de journaux, vous pouvez également spécifier une option de Destination personnalisée lors de la création d'un récepteur pour envoyer vos journaux d'un projet Cloud vers une destination dans un autre projet Cloud.

    Vous pouvez acheminer les journaux vers des destinations dans n'importe quel projet Cloud si la destination autorise l'accès en tant que rédacteur au compte de service du récepteur.

  • Identité du rédacteur: nom d'un compte de service. Le propriétaire de la destination doit autoriser ce compte de service à écrire sur la destination. Lors du routage des journaux, Logging adopte cette identité pour l'autorisation. Pour une sécurité accrue, les nouveaux récepteurs obtiennent un compte de service unique:

    GENERATED_ID_1@GENERATED_ID_2.iam.gserviceaccount.com

    Pour en savoir plus, consultez la section Autorisations des destinations.

  • includeChildren: cette propriété est décrite sur la page Récepteurs agrégés. Elle ne concerne que les récepteurs créés pour des organisations, des dossiers ou des comptes de facturation.

Pour plus de détails sur les récepteurs, consultez la section LogSink.

Contrôle des accès

Pour créer ou modifier un récepteur, vous devez disposer du rôle de propriétaire ou de rédacteur de configuration des journaux Logging dans la ressource parente du récepteur. Pour afficher les récepteurs existants, vous devez disposer du rôle IAM de lecteur ou de lecteur de journaux Logging dans la ressource parente du récepteur. Pour en savoir plus, consultez la page Contrôle des accès.

Pour acheminer des journaux vers une destination, le compte de service "Rédacteur" du récepteur doit être autorisé à écrire sur la destination. Pour en savoir plus sur les identités de rédacteur, consultez la section Propriétés et terminologie des récepteurs ci-dessus.

Tarifs

Cloud Logging ne facture pas les routes, mais des frais de destination peuvent s'appliquer. Pour en savoir plus, consultez les détails de tarification du service concerné:

Notez également que si vous exportez vos journaux de flux de cloud privé virtuel (VPC) puis que vous les supprimez de Cloud Logging, des frais de génération des journaux de flux VPC s'appliquent en plus des frais de destination.

Étapes suivantes

Acheminer vos journaux

Pour savoir comment créer et gérer des récepteurs pour acheminer vos journaux, consultez les pages suivantes:

Rechercher et utiliser des journaux

Pour en savoir plus sur le format des entrées de journal routées et sur la façon dont les journaux sont organisés dans les destinations, consultez la page Utiliser des journaux exportés.

Découvrir les scénarios de routage Logging

Les tutoriels suivants décrivent les scénarios pour lesquels vous pouvez acheminer des journaux. Chaque tutoriel décrit les exigences, la configuration ainsi que l'utilisation, et explique comment partager les journaux routés.