Ce guide explique comment utiliser les journaux de la Google Cloud plate-forme pour résoudre les problèmes lorsque vous utilisez des sujets d'importation, y compris les suivants : sujets d'importation Cloud Storage, sujets d'importation Azure Event Hubs, sujets d'importation Amazon MSK et sujets d'importation Confluent Cloud.
À propos des journaux de plate-forme
Un service Google Cloud compatible génère son propre ensemble de journaux de plate-forme, en capturant les événements et les activités pertinents pour le fonctionnement de ce service. Ces journaux de plate-forme contiennent des informations détaillées sur ce qui se passe dans un service, y compris les opérations réussies, les erreurs, les avertissements et d'autres événements notables.
Les journaux de plate-forme font partie de Cloud Logging et partagent les mêmes fonctionnalités. Par exemple, voici une liste de fonctionnalités importantes pour les journaux de la plate-forme:
Les journaux sont généralement structurés en tant qu'objets JSON qui permettent d'effectuer des requêtes et des filtrages supplémentaires.
Vous pouvez afficher les journaux de la plate-forme à l'aide de la journalisation dans la console.
Les journaux de la plate-forme peuvent également être intégrés à Cloud Monitoring et à d'autres outils de surveillance pour créer des tableaux de bord, des alertes et d'autres mécanismes de surveillance.
Le stockage des journaux entraîne des frais basés sur le volume ingéré et la durée de conservation.
Pour en savoir plus sur les journaux de la plate-forme, consultez la page Journaux Google Cloud Platform.
Avant de commencer
Assurez-vous de remplir les conditions préalables à la création du sujet que vous utilisez:
- Article sur l'importation dans Cloud Storage
- Topic d'importation Azure Event Hubs
- Topic d'importation Amazon MSK
- Article sur l'importation dans Confluent Cloud
Rôles et autorisations requis
Avant de commencer, vérifiez que vous avez accès à la journalisation.
Vous devez disposer du rôle IAM (Identity and Access Management) (roles/logging.viewer)
Visionneuse de journaux. Pour en savoir plus sur l'accès à Logging, consultez la section Contrôle des accès avec IAM.
La section suivante explique comment vérifier et accorder l'accès IAM :
Affichez l'accès défini actuellement pour vérifier l'accès de chaque compte principal.
Attribuez un rôle aux comptes principaux appropriés dans votre projet.
À propos des échecs d'ingestion de sujets d'importation
Les sujets d'importation peuvent rencontrer des problèmes qui empêchent l'ingestion des données.
Sujets d'importation Cloud Storage
Les sujets d'importation Cloud Storage peuvent rencontrer des problèmes qui empêchent l'ingestion des données. Par exemple, lorsque vous utilisez un sujet d'importation Cloud Storage, vous pouvez rencontrer des problèmes d'ingestion d'un objet Cloud Storage ou d'une partie d'un objet.
La liste suivante décrit les raisons de l'échec de l'ingestion dans les sujets d'importation Cloud Storage qui génèrent des journaux de plate-forme:
Taille du message
Chaque message ne peut pas dépasser 10 Mo. Si c'est le cas, l'intégralité du message est ignorée.
Si vous utilisez le format Avro ou le format Avro Pub/Sub, les blocs Avro ne doivent pas dépasser 16 Mo. Les blocs Avro plus volumineux sont ignorés.
Attributs du message
Les messages peuvent comporter jusqu'à 100 attributs. Tout attribut supplémentaire est supprimé lors de l'ingestion du message.
Les clés d'attribut ne peuvent pas dépasser 256 octets et les valeurs ne peuvent pas dépasser 1 024 octets. Si la valeur est supérieure à la taille maximale, la paire clé-valeur entière est supprimée du message lors de son ingestion.
Pour en savoir plus sur les consignes d'utilisation des clés de message et des attributs, consultez la section Utiliser des attributs pour publier un message.
Mise en forme Avro
- Assurez-vous que vos objets Avro sont correctement formatés. Un format incorrect empêche l'ingestion du message.
Format des données
- Assurez-vous d'utiliser une version Avro compatible. Les formats non compatibles ne sont pas traités.
Sujets d'importation Azure Event Hubs, Amazon MSK et Confluent Cloud
Les sujets d'importation Azure Event Hubs, Amazon MSK et Confluent Cloud peuvent rencontrer des problèmes qui empêchent l'ingestion des données.
La liste suivante décrit les raisons de l'échec de l'ingestion dans les sujets d'importation qui génèrent des journaux de plate-forme:
Taille du message
- Chaque message ne peut pas dépasser 10 Mo. Si c'est le cas, l'intégralité du message est ignorée.
Attributs du message
Les messages peuvent comporter jusqu'à 100 attributs. Tout attribut supplémentaire est supprimé lors de l'ingestion du message.
Les clés d'attribut ne peuvent pas dépasser 256 octets et les valeurs ne peuvent pas dépasser 1 024 octets. Si la valeur est supérieure à la taille maximale, la paire clé-valeur entière est supprimée du message lors de son ingestion.
Pour en savoir plus sur les consignes d'utilisation des clés de message et des attributs, consultez la section Utiliser des attributs pour publier un message.
Activer les journaux de plate-forme
Les journaux de la plate-forme sont désactivés par défaut pour les sujets d'importation. Vous pouvez activer les journaux de la plate-forme lorsque vous créez ou mettez à jour un sujet d'importation. Pour désactiver les journaux de la plate-forme, mettez à jour le sujet d'importation.
Activer les journaux de la plate-forme lors de la création d'un sujet d'importation
Pour activer les journaux de la plate-forme lorsque vous créez un sujet d'importation, procédez comme suit:
Console
-
Dans la console Google Cloud, accédez à la page Topics (Sujets).
Cliquez sur Create topic (Créer un sujet).
La page des détails du sujet s'ouvre.
Dans le champ ID du sujet, saisissez un ID pour votre sujet d'importation.
Pour en savoir plus sur l'attribution de noms aux sujets, consultez les consignes d'attribution de noms.
Sélectionnez Ajouter un abonnement par défaut.
Sélectionnez Activer l'ingestion.
- Conservez les autres paramètres par défaut.
- Cliquez sur Create topic (Créer un sujet).
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Pour activer les journaux de la plate-forme, assurez-vous que l'indicateur
--ingestion-log-severity
est défini surWARNING
ou sur un niveau de gravité inférieur, tel queINFO
ouDEBUG
. Exécutez la commandegcloud pubsub topics create
pour le sujet que vous utilisez:- Article sur l'importation dans Cloud Storage
- Topic d'importation Azure Event Hubs
- Topic d'importation Amazon MSK
- Article sur l'importation dans Confluent Cloud
Par exemple, pour activer les journaux de la plate-forme sur un sujet d'importation Cloud Storage, incluez l'indicateur
--ingestion-log-severity=WARNING
dans votre commandegcloud pubsub topics create
.gcloud pubsub topics create TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --ingestion-log-severity=WARNING
Activer les journaux de plate-forme lors de la mise à jour d'un sujet d'importation
Pour activer les journaux de la plate-forme lorsque vous mettez à jour un sujet d'importation, procédez comme suit:
Console
Dans la console Google Cloud, accédez à la page Topics (Sujets).
Cliquez sur le sujet d'importation que vous utilisez (sujet d'importation Cloud Storage, sujet d'importation Azure Event Hubs, sujet d'importation Amazon MSK ou sujet d'importation Confluent Cloud).
Sur la page des détails de l'article, cliquez sur Modifier.
- Sélectionnez Activer les journaux de la plate-forme.
Cliquez sur Mettre à jour.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Pour activer les journaux de la plate-forme, assurez-vous que ingestion-log-severity est défini sur
WARNING
ou sur un niveau de gravité inférieur, tel queINFO
ouDEBUG
. Exécutez la commandegcloud pubsub topics update
avec toutes les options possibles qui spécifient les paramètres pour le sujet que vous utilisez:- Article sur l'importation dans Cloud Storage
- Pour éviter de perdre vos paramètres pour le sujet d'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande
create
d'origine chaque fois que vous mettez à jour le sujet. Si vous omettez quelque chose, Pub/Sub réinitialise le paramètre sur sa valeur par défaut.
- Pour éviter de perdre vos paramètres pour le sujet d'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande
- Topic d'importation Azure Event Hubs
- Topic d'importation Amazon MSK
- Article sur l'importation dans Confluent Cloud
Par exemple, pour mettre à jour les journaux d'un sujet d'importation Cloud Storage existant, incluez l'indicateur
--ingestion-log-severity=WARNING
dans votre commandegcloud pubsub topics create
et toutes les valeurs d'indicateur possibles qui spécifient les paramètres d'un sujet d'importation Cloud Storage.gcloud pubsub topics update TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \ --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \ --cloud-storage-ingestion-match-glob=MATCH_GLOB --ingestion-log-severity=WARNING
- Article sur l'importation dans Cloud Storage
Désactiver les journaux de plate-forme
Pour désactiver les journaux de la plate-forme pour le sujet d'importation que vous utilisez, procédez comme suit:
Console
Dans la console Google Cloud, accédez à la page Topics (Sujets).
Cliquez sur le sujet d'importation que vous utilisez (sujet d'importation Cloud Storage, sujet d'importation Azure Event Hubs, sujet d'importation Amazon MSK ou sujet d'importation Confluent Cloud).
Sur la page des détails de l'article, cliquez sur Modifier.
- Décochez l'option Activer les journaux de plate-forme.
Cliquez sur Mettre à jour.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Pour désactiver les journaux de la plate-forme, assurez-vous que la gravité de journalisation d'ingestion est définie sur
DISABLED
. Exécutez la commandegcloud pubsub topics update
avec toutes les options possibles qui spécifient les paramètres pour le sujet que vous utilisez:- Article sur l'importation dans Cloud Storage
- Pour éviter de perdre vos paramètres pour le sujet d'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande
create
d'origine chaque fois que vous mettez à jour le sujet. Si vous omettez quelque chose, Pub/Sub rétablit le paramètre sur sa valeur par défaut d'origine.
- Pour éviter de perdre vos paramètres pour le sujet d'importation Cloud Storage, veillez à réinclure les mêmes valeurs que celles de votre commande
- Topic d'importation Azure Event Hubs
- Topic d'importation Amazon MSK
- Article sur l'importation dans Confluent Cloud
Par exemple, pour désactiver les journaux sur un sujet d'importation Cloud Storage existant, incluez l'indicateur
--ingestion-log-severity=DISABLED
dans votre commandegcloud pubsub topics update
et tous les indicateurs possibles qui spécifient les paramètres d'un sujet d'importation Cloud Storage.gcloud pubsub topics update TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \ --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \ --cloud-storage-ingestion-match-glob=MATCH_GLOB --ingestion-log-severity=DISABLED
- Article sur l'importation dans Cloud Storage
Afficher les journaux de la plate-forme
Pour afficher les journaux de la plate-forme pour le sujet d'importation que vous utilisez, procédez comme suit:
Console Google Cloud
Dans la console Google Cloud, accédez à l'explorateur de journaux.
Sélectionnez un projet Google Cloud.
Si nécessaire, dans le menu Mettre à niveau, passez de l'ancienne visionneuse de journaux à l'explorateur de journaux.
Cliquez sur le bouton Afficher la requête.
Pour filtrer vos journaux afin de n'afficher que les entrées des topics d'importation que vous utilisez (topic d'importation Cloud Storage, topic d'importation Azure Event Hubs, topic d'importation Amazon MSK ou topic d'importation Confluent Cloud), saisissez
resource.type="resource.type=pubsub_topic AND severity=WARNING"
dans le champ de requête, puis cliquez sur Exécuter la requête.Dans le volet Résultats de la requête, cliquez sur Modifier l'heure pour modifier la période pendant laquelle les résultats doivent être renvoyés.
Pour en savoir plus sur l'utilisation de l'explorateur de journaux, consultez la page Utiliser l'explorateur de journaux.
CLI gcloud
Pour rechercher des journaux de plate-forme pour les sujets d'importation que vous utilisez à l'aide de la CLI gcloud, utilisez la commande gcloud logging read
.
Spécifiez un filtre pour limiter vos résultats aux journaux de la plate-forme pour les sujets d'importation que vous utilisez (sujet d'importation Cloud Storage, sujet d'importation Azure Event Hubs, sujet d'importation Amazon MSK ou sujet d'importation Confluent Cloud).
gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"
API Cloud Logging
Utilisez la méthode API Cloud Logging entries.list
.
Pour filtrer vos résultats afin de n'inclure que les journaux de la plate-forme pour les sujets d'importation Cloud Storage, utilisez le champ filter
. Vous trouverez ci-dessous un exemple d'objet de requête JSON.
{
"resourceNames":
[
"projects/my-project-name"
],
"orderBy": "timestamp desc",
"filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}
Afficher et comprendre le format des journaux de la plate-forme
La section suivante inclut des exemples de journaux de plate-forme et décrit les champs des journaux de plate-forme.
Tous les champs spécifiques aux journaux de la plate-forme sont contenus dans un objet jsonPayload
.
Cloud Storage
Échec Avro
{
"insertId": "1xnzx8md4768",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"cloudStorageFailure": {
"objectGeneration": "1661148924738910",
"bucket": "bucket_in_avro_format",
"objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
"avroFailureReason": {}
},
"topic": "projects/my-project/topics/avro_bucket_topic",
"errorMessage": "Unable to parse the header of the object. The object won't be ingested."
},
"resource": {
"type": "pubsub_topic",
"labels": {
"project_id": "my-project",
"topic_id": "avro_bucket_topic"
}
},
"timestamp": "2024-10-07T18:55:45.650103193Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}
Champ du journal | Description |
---|---|
insertId |
Identifiant unique pour l'entrée de journal. |
jsonPayload.@type |
Identifie le type d'événement. Toujours type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.cloudStorageFailure.objectGeneration |
Numéro de génération de l'objet Cloud Storage. |
jsonPayload.cloudStorageFailure.bucket |
Bucket Cloud Storage contenant l'objet. |
jsonPayload.cloudStorageFailure.objectName |
Nom de l'objet Cloud Storage. |
jsonPayload.cloudStorageFailure.avroFailureReason |
Contient des informations plus spécifiques sur les erreurs d'analyse Avro. Ce champ est laissé vide. |
jsonPayload.topic |
Sujet Pub/Sub auquel le message était destiné. |
jsonPayload.errorMessage |
Message d'erreur lisible par l'utilisateur. |
resource.type |
Type de la ressource Toujours pubsub_topic . |
resource.labels.project_id |
ID du Google Cloud projet. |
resource.labels.topic_id |
ID du sujet Pub/Sub. |
timestamp |
Code temporel de génération de l'entrée de journal. |
severity |
Niveau de gravité : WARNING . |
logName |
Nom du journal. |
receiveTimestamp |
Code temporel de l'entrée de journal reçue. |
Échec du texte
{
"insertId": "1kc4puoag",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"cloudStorageFailure": {
"bucket": "bucket_in_text_format",
"apiViolationReason": {},
"objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
"objectGeneration": "1727990048026758"
},
"topic": "projects/my-project/topics/large_text_bucket_topic",
"errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "large_text_bucket_topic",
"project_id": "my-project"
}
},
"timestamp": "2024-10-09T14:09:07.760488386Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}
Champ du journal | Description |
---|---|
insertId |
Identifiant unique pour l'entrée de journal. |
jsonPayload.@type |
Identifie le type d'événement. Toujours type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.cloudStorageFailure.objectGeneration |
Numéro de génération de l'objet Cloud Storage. |
jsonPayload.cloudStorageFailure.bucket |
Bucket Cloud Storage contenant l'objet. |
jsonPayload.cloudStorageFailure.objectName |
Nom de l'objet Cloud Storage. |
jsonPayload.cloudStorageFailure.apiViolationReason |
Contient des informations sur le non-respect des règles de l'API. Ce champ est laissé vide. |
jsonPayload.topic |
Sujet Pub/Sub |
jsonPayload.errorMessage |
Message lisible par l'utilisateur. |
resource.type |
Type de ressource, toujours pubsub_topic . |
resource.labels.project_id |
ID de projetGoogle Cloud . |
resource.labels.topic_id |
ID du sujet Pub/Sub. |
timestamp |
Code temporel de génération de l'entrée de journal. |
severity |
Niveau de gravité : WARNING . |
logName |
Nom du journal. |
receiveTimestamp |
Heure à laquelle l'entrée de journal a été reçue par Cloud Logging. |
Amazon MSK
Non-respect des API
{
"insertId": "k3breb2q",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"awsMskFailure": {
"apiViolationReason": {},
"clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
"kafkaTopic": "msk-topic",
"partitionId": "1",
"offset": "11"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/msk-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "msk-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}
Champ du journal | Description |
---|---|
insertId |
Identifiant unique pour l'entrée de journal. |
jsonPayload.@type |
Identifie le type d'événement. Toujours type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.awsMskFailure.clusterArn |
ARN du cluster du sujet ingéré. |
jsonPayload.awsMskFailure.kafkaTopic |
Nom du sujet Kafka à partir duquel l'ingestion est effectuée. |
jsonPayload.awsMskFailure.partitionId |
ID de la partition contenant le message qui n'a pas pu être ingéré. |
jsonPayload.awsMskFailure.offset |
Décalage dans la partition du message qui n'a pas pu être ingéré. |
jsonPayload.awsMskFailure.apiViolationReason |
Contient des informations sur le non-respect des règles de l'API. Ce champ est laissé vide. |
jsonPayload.topic |
Sujet Pub/Sub |
jsonPayload.errorMessage |
Message lisible par l'utilisateur. |
resource.type |
Type de ressource, toujours pubsub_topic . |
resource.labels.project_id |
ID de projetGoogle Cloud . |
resource.labels.topic_id |
ID du sujet Pub/Sub. |
timestamp |
Code temporel de génération de l'entrée de journal. |
severity |
Niveau de gravité : WARNING . |
logName |
Nom du journal. |
receiveTimestamp |
Heure à laquelle l'entrée de journal a été reçue par Cloud Logging. |
Azure Event Hubs
Non-respect des API
{
"insertId": "i1fbqnb12",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"azureEventHubsFailure": {
"apiViolationReason": {},
"namespace": "my-namespace",
"eventHub": "my-event-hub",
"partitionId": "1",
"offset": "15"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/event-hubs-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "event-hubs-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}
Champ du journal | Description |
---|---|
insertId |
Identifiant unique pour l'entrée de journal. |
jsonPayload.@type |
Identifie le type d'événement. Toujours type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.azureEventHubsFailure.namespace |
Espace de noms contenant le hub d'événements à partir duquel l'ingestion est effectuée. |
jsonPayload.azureEventHubsFailure.eventHub |
Nom du hub d'événements à partir duquel l'ingestion est effectuée. |
jsonPayload.azureEventHubsFailure.partitionId |
ID de la partition contenant le message qui n'a pas pu être ingéré. |
jsonPayload.azureEventHubsFailure.offset |
Décalage dans la partition du message qui n'a pas pu être ingéré. |
jsonPayload.azureEventHubsFailure.apiViolationReason |
Contient des informations sur le non-respect des règles de l'API. Ce champ est laissé vide. |
jsonPayload.topic |
Sujet Pub/Sub |
jsonPayload.errorMessage |
Message lisible par l'utilisateur. |
resource.type |
Type de ressource, toujours pubsub_topic . |
resource.labels.project_id |
ID de projetGoogle Cloud . |
resource.labels.topic_id |
ID du sujet Pub/Sub. |
timestamp |
Code temporel de génération de l'entrée de journal. |
severity |
Niveau de gravité : WARNING . |
logName |
Nom du journal. |
receiveTimestamp |
Heure à laquelle l'entrée de journal a été reçue par Cloud Logging. |
Confluent Cloud
Échec du texte
{
"insertId": "i1fbqnb14",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"confluentCloudFailure": {
"apiViolationReason": {},
"clusterId": "lma-1x18ae",
"kafkaTopic": "confluent-topic",
"partitionId": "1",
"offset": "19"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/confluent-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "confluent-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}
Champ du journal | Description |
---|---|
insertId |
Identifiant unique pour l'entrée de journal. |
jsonPayload.@type |
Identifie le type d'événement. Toujours type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.confluentCloudFailure.clusterId |
ID du cluster contenant le sujet à partir duquel l'ingestion est effectuée. |
jsonPayload.confluentCloudFailure.kafkaTopic |
Nom du sujet Kafka à partir duquel l'ingestion est effectuée. |
jsonPayload.confluentCloudFailure.partitionId |
ID de la partition contenant le message qui n'a pas pu être ingéré. |
jsonPayload.confluentCloudFailure.offset |
Décalage dans la partition du message qui n'a pas pu être ingéré. |
jsonPayload.confluentCloudFailure.apiViolationReason |
Contient des informations sur le non-respect des règles de l'API. Ce champ est laissé vide. |
jsonPayload.topic |
Sujet Pub/Sub |
jsonPayload.errorMessage |
Message lisible par l'utilisateur. |
resource.type |
Type de ressource, toujours pubsub_topic . |
resource.labels.project_id |
ID de projet Google Cloud |
resource.labels.topic_id |
ID du sujet Pub/Sub. |
timestamp |
Code temporel de génération de l'entrée de journal. |
severity |
Niveau de gravité : WARNING . |
logName |
Nom du journal. |
receiveTimestamp |
Heure à laquelle l'entrée de journal a été reçue par Cloud Logging. |