In diesem Leitfaden wird beschrieben, wie Sie Google Cloud Plattformprotokolle verwenden, um Probleme bei der Verwendung von Importthemen zu beheben. Dazu gehören Cloud Storage-Importthemen, Azure Event Hubs-Importthemen, Amazon MSK-Importthemen und Confluent Cloud-Importthemen.
Plattform-Logs
Ein unterstützter Google Cloud Dienst generiert eigene Plattformprotokolle, in denen Ereignisse und Aktivitäten erfasst werden, die für den Betrieb dieses Dienstes relevant sind. Diese Plattformprotokolle enthalten detaillierte Informationen zu den Vorgängen in einem Dienst, einschließlich erfolgreicher Vorgänge, Fehlern, Warnungen und anderen bemerkenswerten Ereignissen.
Plattformprotokolle sind Teil von Cloud Logging und bieten dieselben Funktionen. Im Folgenden finden Sie beispielsweise eine Liste wichtiger Funktionen für Plattformprotokolle:
Protokolle sind in der Regel als JSON-Objekte strukturiert, die eine weitere Abfrage und Filterung ermöglichen.
Sie können sich Plattformprotokolle mithilfe der Protokollierung in der Console ansehen.
Plattformprotokolle können auch in Cloud Monitoring und andere Monitoring-Tools eingebunden werden, um Dashboards, Benachrichtigungen und andere Monitoringmechanismen zu erstellen.
Für die Speicherung von Logs fallen Kosten an, die sich nach dem aufgenommenen Volumen und der Aufbewahrungsdauer richten.
Weitere Informationen zu Plattformprotokollen finden Sie unter Google Cloud-Plattformprotokolle.
Hinweise
Prüfen Sie, ob Sie die Voraussetzungen für das Erstellen des verwendeten Themas erfüllt haben:
- Cloud Storage-Import
- Azure Event Hubs-Importthema
- Amazon MSK-Importthema
- Importthema für Confluent Cloud
Erforderliche Rollen und Berechtigungen
Prüfen Sie zuerst, ob Sie Zugriff auf die Protokollierung haben.
Sie benötigen die IAM-Rolle (Identity and Access Management) Logbetrachter (roles/logging.viewer)
. Weitere Informationen zum Logging-Zugriff finden Sie unter Zugriffssteuerung mit IAM.
Im Folgenden wird beschrieben, wie Sie den IAM-Zugriff überprüfen und gewähren:
Sehen Sie sich die aktuellen Zugriffsrechte an, um den Zugriff der einzelnen Hauptkonten zu prüfen.
Weisen Sie den entsprechenden Hauptkonten in Ihrem Projekt eine Rolle zu.
Fehler bei der Aufnahme von Importthemen
Beim Importieren von Themen können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden.
Themen zum Cloud Storage-Import
Bei Cloud Storage-Importthemen können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden. Wenn Sie beispielsweise ein Cloud Storage-Importthema verwenden, kann es zu Problemen beim Aufnehmen eines Cloud Storage-Objekts oder eines Teils eines Objekts kommen.
In der folgenden Liste werden Gründe für Fehler bei der Datenaufnahme in Cloud Storage-Importthemen beschrieben, die Plattformprotokolle generieren:
Nachrichtengröße
Einzelne Nachrichten dürfen nicht größer als 10 MB sein. In diesem Fall wird die gesamte Nachricht übersprungen.
Wenn Sie das Avro- oder das Pub/Sub Avro-Format verwenden, dürfen Avro-Blöcke nicht größer als 16 MB sein. Größere Avro-Blöcke werden übersprungen.
Nachrichtenattribute
Nachrichten können maximal 100 Attribute haben. Alle zusätzlichen Attribute werden beim Aufnehmen der Nachricht gelöscht.
Attributschlüssel dürfen nicht größer als 256 Byte und Werte nicht größer als 1.024 Byte sein. Wenn der Wert größer als die maximale Größe ist, wird das gesamte Schlüssel/Wert-Paar bei der Datenaufnahme aus der Nachricht entfernt.
Weitere Informationen zu den Richtlinien für die Verwendung von Nachrichtenschlüsseln und ‑attributen finden Sie unter Attribute zum Veröffentlichen einer Nachricht verwenden.
Avro-Formatierung
- Prüfen Sie, ob Ihre Avro-Objekte richtig formatiert sind. Eine falsche Formatierung verhindert die Aufnahme der Nachricht.
Datenformat
- Verwenden Sie eine unterstützte Avro-Version. Nicht unterstützte Formate werden nicht verarbeitet.
Themen für den Import in Azure Event Hubs, Amazon MSK und Confluent Cloud
Beim Importieren von Themen in Azure Event Hubs, Amazon MSK und Confluent Cloud können Probleme auftreten, die verhindern, dass Daten erfolgreich aufgenommen werden.
In der folgenden Liste werden Gründe für die Aufnahmefehler in Importthemen beschrieben, die Plattformprotokolle generieren:
Nachrichtengröße
- Einzelne Nachrichten dürfen nicht größer als 10 MB sein. In diesem Fall wird die gesamte Nachricht übersprungen.
Nachrichtenattribute
Nachrichten können maximal 100 Attribute haben. Alle zusätzlichen Attribute werden beim Aufnehmen der Nachricht gelöscht.
Attributschlüssel dürfen nicht größer als 256 Byte und Werte nicht größer als 1.024 Byte sein. Wenn der Wert größer als die maximale Größe ist, wird das gesamte Schlüssel/Wert-Paar bei der Datenaufnahme aus der Nachricht entfernt.
Weitere Informationen zu den Richtlinien für die Verwendung von Nachrichtenschlüsseln und ‑attributen finden Sie unter Attribute zum Veröffentlichen einer Nachricht verwenden.
Plattformlogs aktivieren
Plattformprotokolle sind für importierte Themen standardmäßig deaktiviert. Sie können Plattformprotokolle aktivieren, wenn Sie ein Importthema erstellen oder aktualisieren. Wenn Sie Plattformprotokolle deaktivieren möchten, aktualisieren Sie das Importthema.
Plattformlogs beim Erstellen eines Importthemas aktivieren
So aktivieren Sie Plattformprotokolle beim Erstellen eines Importthemas:
Console
-
Rufen Sie in der Google Cloud Console die Seite Themen auf.
Klicken Sie auf Thema erstellen.
Die Seite mit den Themendetails wird geöffnet.
Geben Sie im Feld Themen-ID eine ID für das Importthema ein.
Weitere Informationen zur Benennung von Themen finden Sie in den Benennungsrichtlinien.
Wählen Sie Standardabo hinzufügen aus.
Wählen Sie Aufnahme aktivieren aus.
- Behalten Sie die anderen Standardeinstellungen bei.
- Klicken Sie auf Thema erstellen.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Wenn Sie Plattformprotokolle aktivieren möchten, muss das Flag
--ingestion-log-severity
aufWARNING
oder einen niedrigeren Schweregrad wieINFO
oderDEBUG
festgelegt sein. Führen Sie den Befehlgcloud pubsub topics create
für das jeweilige Thema aus, das Sie verwenden:- Cloud Storage-Import
- Azure Event Hubs-Importthema
- Amazon MSK-Importthema
- Importthema für Confluent Cloud
Wenn Sie beispielsweise Plattformprotokolle für ein Cloud Storage-Importthema aktivieren möchten, fügen Sie das Flag
--ingestion-log-severity=WARNING
in den Befehlgcloud pubsub topics create
ein.gcloud pubsub topics create TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --ingestion-log-severity=WARNING
Plattformlogs beim Aktualisieren eines Importthemas aktivieren
So aktivieren Sie Plattformprotokolle beim Aktualisieren eines Importthemas:
Console
Rufen Sie in der Google Cloud Console die Seite Themen auf.
Klicken Sie auf das entsprechende Importthema, das Sie verwenden (Cloud Storage-Importthema, Azure Event Hubs-Importthema, Amazon MSK-Importthema oder Confluent Cloud-Importthema).
Klicken Sie auf der Seite mit den Themendetails auf Bearbeiten.
- Wählen Sie Plattformprotokolle aktivieren aus.
Klicken Sie auf Aktualisieren.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Wenn Sie Plattformprotokolle aktivieren möchten, muss „ingestion-log-severity“ auf
WARNING
oder einen niedrigeren Schweregrad wieINFO
oderDEBUG
gesetzt sein. Führen Sie den Befehlgcloud pubsub topics update
mit allen möglichen Flags aus, die Einstellungen für das jeweilige Thema angeben:- Cloud Storage-Import
- Damit die Einstellungen für das Cloud Storage-Importthema nicht verloren gehen, müssen Sie jedes Mal, wenn Sie das Thema aktualisieren, dieselben Werte wie im ursprünglichen
create
-Befehl angeben. Wenn du etwas auslässt, wird die Einstellung von Pub/Sub auf den Standardwert zurückgesetzt.
- Damit die Einstellungen für das Cloud Storage-Importthema nicht verloren gehen, müssen Sie jedes Mal, wenn Sie das Thema aktualisieren, dieselben Werte wie im ursprünglichen
- Azure Event Hubs-Importthema
- Amazon MSK-Importthema
- Importthema für Confluent Cloud
Wenn Sie beispielsweise Logs für ein vorhandenes Cloud Storage-Importthema aktualisieren möchten, fügen Sie den Befehl
gcloud pubsub topics create
das Flag--ingestion-log-severity=WARNING
und alle möglichen Flag-Werte hinzu, die Einstellungen für ein Cloud Storage-Importthema angeben.gcloud pubsub topics update TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \ --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \ --cloud-storage-ingestion-match-glob=MATCH_GLOB --ingestion-log-severity=WARNING
- Cloud Storage-Import
Plattformlogs deaktivieren
So deaktivieren Sie Plattformprotokolle für das entsprechende Importthema, das Sie verwenden:
Console
Rufen Sie in der Google Cloud Console die Seite Themen auf.
Klicken Sie auf das entsprechende Importthema, das Sie verwenden (Cloud Storage-Importthema, Azure Event Hubs-Importthema, Amazon MSK-Importthema oder Confluent Cloud-Importthema).
Klicken Sie auf der Seite mit den Themendetails auf Bearbeiten.
- Entfernen Sie das Häkchen bei Plattformlogs aktivieren.
Klicken Sie auf Aktualisieren.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Wenn Sie Plattformprotokolle deaktivieren möchten, muss „ingestion-log-severity“ auf
DISABLED
gesetzt sein. Führen Sie den Befehlgcloud pubsub topics update
mit allen möglichen Flags aus, die Einstellungen für das jeweilige Thema angeben:- Cloud Storage-Import
- Damit die Einstellungen für das Cloud Storage-Importthema nicht verloren gehen, müssen Sie jedes Mal, wenn Sie das Thema aktualisieren, dieselben Werte wie im ursprünglichen
create
-Befehl angeben. Wenn du etwas auslässt, wird die Einstellung von Pub/Sub auf den ursprünglichen Standardwert zurückgesetzt.
- Damit die Einstellungen für das Cloud Storage-Importthema nicht verloren gehen, müssen Sie jedes Mal, wenn Sie das Thema aktualisieren, dieselben Werte wie im ursprünglichen
- Azure Event Hubs-Importthema
- Amazon MSK-Importthema
- Importthema für Confluent Cloud
Wenn Sie beispielsweise Protokolle für ein vorhandenes Cloud Storage-Importthema deaktivieren möchten, fügen Sie dem
gcloud pubsub topics update
-Befehl das Flag--ingestion-log-severity=DISABLED
und alle möglichen Flags hinzu, die Einstellungen für ein Cloud Storage-Importthema angeben.gcloud pubsub topics update TOPIC_ID \ --cloud-storage-ingestion-bucket=BUCKET_NAME \ --cloud-storage-ingestion-input-format=INPUT_FORMAT \ --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \ --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \ --cloud-storage-ingestion-match-glob=MATCH_GLOB --ingestion-log-severity=DISABLED
- Cloud Storage-Import
Plattformprotokolle ansehen
So rufen Sie Plattformprotokolle für das jeweilige Importthema auf, das Sie verwenden:
Google Cloud Console
Öffnen Sie in der Google Cloud Console den Log-Explorer.
Wählen Sie ein Google Cloud-Projekt aus.
Wechseln Sie bei Bedarf im Menü Upgrade von Legacy-Loganzeige zu Log-Explorer.
Klicken Sie auf den Umschalter Abfrage anzeigen.
Wenn Sie Ihre Logs so filtern möchten, dass nur Einträge für die jeweiligen Importthemen angezeigt werden, die Sie verwenden (Cloud Storage-Importthema, Azure Event Hubs-Importthema, Amazon MSK-Importthema oder Confluent Cloud-Importthema), geben Sie
resource.type="resource.type=pubsub_topic AND severity=WARNING"
in das Abfragefeld ein und klicken Sie auf Abfrage ausführen.Klicken Sie im Bereich Abfrageergebnisse auf Zeit bearbeiten, um den Zeitraum zu ändern, für den Ergebnisse zurückgegeben werden sollen.
Weitere Informationen zur Verwendung des Log-Explorers finden Sie unter Log-Explorer verwenden.
gcloud-CLI
Wenn Sie mit der gcloud CLI nach Plattformprotokollen für die jeweiligen Importthemen suchen möchten, die Sie verwenden, verwenden Sie den Befehl gcloud logging read
.
Geben Sie einen Filter an, um Ihre Ergebnisse auf Plattformprotokolle für die jeweiligen Importthemen einzuschränken, die Sie verwenden (Cloud Storage-Importthema, Azure Event Hubs-Importthema, Amazon MSK-Importthema oder Confluent Cloud-Importthema).
gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"
Cloud Logging API
Verwenden Sie die Cloud Logging API-Methode entries.list
.
Verwenden Sie das Feld filter
, um Ihre Ergebnisse so zu filtern, dass nur Plattformprotokolle für Cloud Storage-Importthemen enthalten sind. Unten finden Sie ein Beispiel für ein JSON-Anfrageobjekt.
{
"resourceNames":
[
"projects/my-project-name"
],
"orderBy": "timestamp desc",
"filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}
Plattformprotokollformat ansehen und verstehen
Im folgenden Abschnitt finden Sie Beispielplattformprotokolle und eine Beschreibung der Felder für Plattformprotokolle.
Alle plattformspezifischen Felder für Protokolle sind in einem jsonPayload
-Objekt enthalten.
Cloud Storage
Avro-Fehler
{
"insertId": "1xnzx8md4768",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"cloudStorageFailure": {
"objectGeneration": "1661148924738910",
"bucket": "bucket_in_avro_format",
"objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
"avroFailureReason": {}
},
"topic": "projects/my-project/topics/avro_bucket_topic",
"errorMessage": "Unable to parse the header of the object. The object won't be ingested."
},
"resource": {
"type": "pubsub_topic",
"labels": {
"project_id": "my-project",
"topic_id": "avro_bucket_topic"
}
},
"timestamp": "2024-10-07T18:55:45.650103193Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}
Logfeld | Beschreibung |
---|---|
insertId |
Eindeutige Kennung des Logeintrags. |
jsonPayload.@type |
Gibt den Ereignistyp an. Immer type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.cloudStorageFailure.objectGeneration |
Die Generierungsnummer des Cloud Storage-Objekts. |
jsonPayload.cloudStorageFailure.bucket |
Der Cloud Storage-Bucket, der das Objekt enthält. |
jsonPayload.cloudStorageFailure.objectName |
Der Name des Cloud Storage-Objekts. |
jsonPayload.cloudStorageFailure.avroFailureReason |
Enthält genauere Details zum Avro-Parsing-Fehler. Dieses Feld bleibt leer. |
jsonPayload.topic |
Das Pub/Sub-Thema, für das die Nachricht bestimmt war. |
jsonPayload.errorMessage |
Eine für Menschen lesbare Fehlermeldung. |
resource.type |
Der Ressourcentyp. Immer pubsub_topic . |
resource.labels.project_id |
Die Google Cloud Projekt-ID. |
resource.labels.topic_id |
Die Pub/Sub-Themen-ID. |
timestamp |
Zeitstempel der Erstellung des Logeintrags. |
severity |
Schweregrad: WARNING |
logName |
Name des Logs. |
receiveTimestamp |
Zeitstempel für den Empfang des Logeintrags. |
Textfehler
{
"insertId": "1kc4puoag",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"cloudStorageFailure": {
"bucket": "bucket_in_text_format",
"apiViolationReason": {},
"objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
"objectGeneration": "1727990048026758"
},
"topic": "projects/my-project/topics/large_text_bucket_topic",
"errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "large_text_bucket_topic",
"project_id": "my-project"
}
},
"timestamp": "2024-10-09T14:09:07.760488386Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}
Logfeld | Beschreibung |
---|---|
insertId |
Eindeutige Kennung des Logeintrags. |
jsonPayload.@type |
Gibt den Ereignistyp an. Immer type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.cloudStorageFailure.objectGeneration |
Die Generierungsnummer des Cloud Storage-Objekts. |
jsonPayload.cloudStorageFailure.bucket |
Der Cloud Storage-Bucket, der das Objekt enthält. |
jsonPayload.cloudStorageFailure.objectName |
Der Name des Cloud Storage-Objekts. |
jsonPayload.cloudStorageFailure.apiViolationReason |
Enthält Details zum API-Verstoß. Dieses Feld bleibt leer. |
jsonPayload.topic |
Das Pub/Sub-Thema. |
jsonPayload.errorMessage |
Eine für Menschen lesbare Nachricht. |
resource.type |
Ressourcentyp, immer pubsub_topic . |
resource.labels.project_id |
Google Cloud -Projekt-ID. |
resource.labels.topic_id |
Pub/Sub-Themen-ID. |
timestamp |
Zeitstempel der Erstellung des Logeintrags. |
severity |
Schweregrad: WARNING |
logName |
Name des Logs. |
receiveTimestamp |
Zeitpunkt, zu dem der Logeintrag von Cloud Logging empfangen wurde. |
Amazon MSK
API-Verstoß
{
"insertId": "k3breb2q",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"awsMskFailure": {
"apiViolationReason": {},
"clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
"kafkaTopic": "msk-topic",
"partitionId": "1",
"offset": "11"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/msk-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "msk-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}
Logfeld | Beschreibung |
---|---|
insertId |
Eindeutige Kennung des Logeintrags. |
jsonPayload.@type |
Gibt den Ereignistyp an. Immer type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.awsMskFailure.clusterArn |
Die ARN des Clusters des Themas, aus dem Daten aufgenommen werden. |
jsonPayload.awsMskFailure.kafkaTopic |
Der Name des Kafka-Themas, aus dem Daten aufgenommen werden. |
jsonPayload.awsMskFailure.partitionId |
Die ID der Partition, die die Nachricht enthält, die nicht aufgenommen werden konnte. |
jsonPayload.awsMskFailure.offset |
Der Offset innerhalb der Partition der Nachricht, die nicht aufgenommen werden konnte. |
jsonPayload.awsMskFailure.apiViolationReason |
Enthält Details zum API-Verstoß. Dieses Feld bleibt leer. |
jsonPayload.topic |
Das Pub/Sub-Thema. |
jsonPayload.errorMessage |
Eine für Menschen lesbare Nachricht. |
resource.type |
Ressourcentyp, immer pubsub_topic . |
resource.labels.project_id |
Google Cloud -Projekt-ID. |
resource.labels.topic_id |
Pub/Sub-Themen-ID. |
timestamp |
Zeitstempel der Erstellung des Logeintrags. |
severity |
Schweregrad: WARNING |
logName |
Name des Logs. |
receiveTimestamp |
Zeitpunkt, zu dem der Logeintrag von Cloud Logging empfangen wurde. |
Azure Event Hubs
API-Verstoß
{
"insertId": "i1fbqnb12",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"azureEventHubsFailure": {
"apiViolationReason": {},
"namespace": "my-namespace",
"eventHub": "my-event-hub",
"partitionId": "1",
"offset": "15"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/event-hubs-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "event-hubs-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}
Logfeld | Beschreibung |
---|---|
insertId |
Eindeutige Kennung des Logeintrags. |
jsonPayload.@type |
Gibt den Ereignistyp an. Immer type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.azureEventHubsFailure.namespace |
Der Namespace, der den Event Hub enthält, aus dem Daten aufgenommen werden. |
jsonPayload.azureEventHubsFailure.eventHub |
Der Name des Event Hubs, aus dem Daten aufgenommen werden. |
jsonPayload.azureEventHubsFailure.partitionId |
Die ID der Partition, die die Nachricht enthält, die nicht aufgenommen werden konnte. |
jsonPayload.azureEventHubsFailure.offset |
Der Offset innerhalb der Partition der Nachricht, die nicht aufgenommen werden konnte. |
jsonPayload.azureEventHubsFailure.apiViolationReason |
Enthält Details zum API-Verstoß. Dieses Feld bleibt leer. |
jsonPayload.topic |
Das Pub/Sub-Thema. |
jsonPayload.errorMessage |
Eine für Menschen lesbare Nachricht. |
resource.type |
Ressourcentyp, immer pubsub_topic . |
resource.labels.project_id |
Google Cloud -Projekt-ID. |
resource.labels.topic_id |
Pub/Sub-Themen-ID. |
timestamp |
Zeitstempel der Erstellung des Logeintrags. |
severity |
Schweregrad: WARNING |
logName |
Name des Logs. |
receiveTimestamp |
Zeitpunkt, zu dem der Logeintrag von Cloud Logging empfangen wurde. |
Confluent Cloud
Textfehler
{
"insertId": "i1fbqnb14",
"jsonPayload": {
"@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
"confluentCloudFailure": {
"apiViolationReason": {},
"clusterId": "lma-1x18ae",
"kafkaTopic": "confluent-topic",
"partitionId": "1",
"offset": "19"
},
"errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
"topic": "projects/my-project/topics/confluent-import-topic"
},
"resource": {
"type": "pubsub_topic",
"labels": {
"topic_id": "confluent-import-topic",
"project_id": "my-project"
}
},
"timestamp": "2025-02-03T16:18:14.693357960Z",
"severity": "WARNING",
"logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
"receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}
Logfeld | Beschreibung |
---|---|
insertId |
Eindeutige Kennung des Logeintrags. |
jsonPayload.@type |
Gibt den Ereignistyp an. Immer type.googleapis.com/google.pubsub.v1.IngestionFailureEvent . |
jsonPayload.confluentCloudFailure.clusterId |
Die Cluster-ID des Themas, aus dem Daten aufgenommen werden. |
jsonPayload.confluentCloudFailure.kafkaTopic |
Der Name des Kafka-Themas, aus dem Daten aufgenommen werden. |
jsonPayload.confluentCloudFailure.partitionId |
Die ID der Partition, die die Nachricht enthält, die nicht aufgenommen werden konnte. |
jsonPayload.confluentCloudFailure.offset |
Der Offset innerhalb der Partition der Nachricht, die nicht aufgenommen werden konnte. |
jsonPayload.confluentCloudFailure.apiViolationReason |
Enthält Details zum API-Verstoß. Dieses Feld bleibt leer. |
jsonPayload.topic |
Das Pub/Sub-Thema. |
jsonPayload.errorMessage |
Eine für Menschen lesbare Nachricht. |
resource.type |
Ressourcentyp, immer pubsub_topic . |
resource.labels.project_id |
Google Cloud-Projekt-ID |
resource.labels.topic_id |
Pub/Sub-Themen-ID. |
timestamp |
Zeitstempel der Erstellung des Logeintrags. |
severity |
Schweregrad: WARNING |
logName |
Name des Logs. |
receiveTimestamp |
Zeitpunkt, zu dem der Logeintrag von Cloud Logging empfangen wurde. |