In dieser Anleitung erfahren Sie, wie Sie Laufzeitfehler beheben, die auftreten, wenn Sie Eventarc verwenden, um Ereignisse von Cloud Storage mithilfe von Cloud-Audit-Logs an einen nicht authentifizierten Cloud Run-Dienst weiterzuleiten.
Ziele
In diesem Anleitung werden die folgenden Aufgaben erläutert:
- Erstellen Sie ein Artifact Registry-Standard-Repository zum Speichern des Container-Images:
- Cloud Storage-Bucket als Ereignisquelle erstellen
- Container-Image in Cloud Run erstellen, hochladen und bereitstellen
- Eventarc-Trigger erstellen
- Datei in den Cloud Storage-Bucket hochladen
- Laufzeitfehler beheben
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Vorbereitung
Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Storage, Eventarc, and Pub/Sub APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com storage.googleapis.com - Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Storage, Eventarc, and Pub/Sub APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com storage.googleapis.com -
Wenn Sie der Projektersteller sind, wird Ihnen die einfache Owner-Rolle (
roles/owner
) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud-Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.Wenn Sie nicht der Project Creator sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.
Beachten Sie, dass Cloud Build-Berechtigungen standardmäßig Berechtigungen zum Hochladen und Herunterladen von Artifact Registry-Artefakten enthalten.
Erforderliche Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen dieser Anleitung benötigen:
-
Cloud Build-Bearbeiter (
roles/cloudbuild.builds.editor
) -
Cloud Run-Administrator (
roles/run.admin
) -
Eventarc Admin (
roles/eventarc.admin
) -
Zugriffsberechtigter für Logbetrachtung (
roles/logging.viewAccessor
) -
Projekt-IAM-Administrator (
roles/resourcemanager.projectIamAdmin
) -
Service Account Admin (
roles/iam.serviceAccountAdmin
) -
Service Account User (
roles/iam.serviceAccountUser
) -
Service Usage Admin (
roles/serviceusage.serviceUsageAdmin
) -
Storage-Administrator (
roles/storage.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
-
Cloud Build-Bearbeiter (
- Aktivieren Sie für Cloud Storage das Audit-Logging für die Datenzugriffstypen
ADMIN_READ
,DATA_WRITE
undDATA_READ
.- Lesen Sie die IAM-Richtlinie (Identity and Access Management), die Ihrem Google Cloud-Projekt, -Ordner oder -Organisation zugeordnet ist, und speichern Sie sie in einer temporären Datei:
gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml
- Öffnen Sie
/tmp/policy.yaml
in einem Texteditor und fügen Sie nur die Konfiguration des Audit-Logs im AbschnittauditConfigs
hinzu oder ändern Sie sie:auditConfigs: - auditLogConfigs: - logType: ADMIN_READ - logType: DATA_WRITE - logType: DATA_READ service: storage.googleapis.com bindings: - members: [...] etag: BwW_bHKTV5U= version: 1
- Schreiben Sie die neue IAM-Richtlinie:
gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml
Wenn der vorhergehende Befehl einen Konflikt mit einer anderen Änderung meldet, wiederholen Sie diese Schritte, beginnend mit dem Lesen der IAM-Richtlinie. Weitere Informationen finden Sie unter Audit-Logs zum Datenzugriff mit der API konfigurieren.
- Lesen Sie die IAM-Richtlinie (Identity and Access Management), die Ihrem Google Cloud-Projekt, -Ordner oder -Organisation zugeordnet ist, und speichern Sie sie in einer temporären Datei:
- Weisen Sie dem Compute Engine-Dienstkonto die Rolle
eventarc.eventReceiver
zu:export PROJECT_NUMBER="$(gcloud projects describe $(gcloud config get-value project) --format='value(projectNumber)')" gcloud projects add-iam-policy-binding $(gcloud config get-value project) \ --member=serviceAccount:${PROJECT_NUMBER}-compute@developer.gserviceaccount.com \ --role='roles/eventarc.eventReceiver'
- Wenn Sie das Pub/Sub-Dienstkonto am oder vor dem 8. April 2021 aktiviert haben, weisen Sie dem Pub/Sub-Dienstkonto die Rolle
iam.serviceAccountTokenCreator
zu:gcloud projects add-iam-policy-binding $(gcloud config get-value project) \ --member="serviceAccount:service-${PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com"\ --role='roles/iam.serviceAccountTokenCreator'
- Legen Sie die in dieser Anleitung verwendeten Standardwerte fest:
export REGION=us-central1 gcloud config set run/region ${REGION} gcloud config set run/platform managed gcloud config set eventarc/location ${REGION}
Artifact Registry-Standard-Repository erstellen
Erstellen Sie ein Artifact Registry-Standard-Repository zum Speichern des Docker-Container-Images:
gcloud artifacts repositories create REPOSITORY \ --repository-format=docker \ --location=$REGION
Ersetzen Sie REPOSITORY
durch einen eindeutigen Namen für das Repository.
Cloud Storage-Bucket erstellen
Erstellen Sie in jeder der beiden Regionen einen Cloud Storage-Bucket als Ereignisquelle für den Cloud Run-Dienst:
So erstellen Sie einen Bucket in
us-east1
:export BUCKET1="troubleshoot-bucket1-PROJECT_ID" gsutil mb -l us-east1 gs://${BUCKET1}
So erstellen Sie einen Bucket in
us-west1
:export BUCKET2="troubleshoot-bucket2-PROJECT_ID" gsutil mb -l us-west1 gs://${BUCKET2}
Nachdem die Ereignisquelle erstellt wurde, stellen Sie den Ereignisempfängerdienst in Cloud Run bereit.
Ereignisempfänger bereitstellen
Stellen Sie einen Cloud Run-Dienst bereit, der Ereignisse empfängt und loggt.
Rufen Sie das Codebeispiel ab, indem Sie das GitHub-Repository klonen:
Go
git clone https://github.com/GoogleCloudPlatform/golang-samples.git cd golang-samples/eventarc/audit_storage
Java
git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git cd java-docs-samples/eventarc/audit-storage
.NET
git clone https://github.com/GoogleCloudPlatform/dotnet-docs-samples.git cd dotnet-docs-samples/eventarc/audit-storage
Node.js
git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git cd nodejs-docs-samples/eventarc/audit-storage
Python
git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git cd python-docs-samples/eventarc/audit-storage
Sehen Sie sich den Code für diese Anleitung an, der aus folgenden Elementen besteht:
Ein Event-Handler, der das eingehende Ereignis als CloudEvent in der HTTP-
POST
-Anfrage empfängt:Go
Java
.NET
Node.js
Python
Ein Server, der den Event-Handler verwendet:
Go
Java
.NET
Node.js
Python
Ein Dockerfile, das die Betriebsumgebung für den Dienst definiert. Der Inhalt des Dockerfile variiert je nach Sprache:
Go
Java
.NET
Node.js
Python
Erstellen Sie das Container-Image mit Cloud Build und laden Sie es in Artifact Registry hoch:
export PROJECT_ID=$(gcloud config get-value project) export SERVICE_NAME=troubleshoot-service gcloud builds submit --tag $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
Stellen Sie das Container-Image in Cloud Run bereit:
gcloud run deploy ${SERVICE_NAME} \ --image $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1 \ --allow-unauthenticated
Wenn die Bereitstellung erfolgreich war, wird in der Befehlszeile die Dienst-URL angezeigt.
Trigger erstellen
Nachdem Sie einen Cloud Run-Dienst bereitgestellt haben, richten Sie einen Trigger ein, um über Audit-Logs Ereignisse aus Cloud Storage aufzuzeichnen.
Erstellen Sie einen Eventarc-Trigger, um Cloud Storage-Ereignisse zu überwachen, die über Cloud-Audit-Logs weitergeleitet werden:
gcloud eventarc triggers create troubleshoot-trigger \ --destination-run-service=troubleshoot-service \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=storage.googleapis.com" \ --event-filters="methodName=storage.objects.create" \ --service-account=${PROJECT_NUMBER}-compute@developer.gserviceaccount.com
Dadurch wird ein Trigger mit dem Namen
troubleshoot-trigger
erstellt.Führen Sie diesen Befehl aus, um zu prüfen, ob
troubleshoot-trigger
erstellt wurde:gcloud eventarc triggers list
Die Ausgabe sollte in etwa so aussehen:
NAME: troubleshoot-trigger TYPE: google.cloud.audit.log.v1.written DESTINATION: Cloud Run service: troubleshoot-service ACTIVE: By 20:03:37 LOCATION: us-central1
Ereignis erstellen und abrufen
Prüfen Sie, ob der Dienst erfolgreich bereitgestellt wurde und die Ereignisse aus Cloud Storage empfangen werden können.
Erstellen Sie eine Datei und laden Sie sie in den Storage-Bucket
BUCKET1
hoch:echo "Hello World" > random.txt gsutil cp random.txt gs://${BUCKET1}/random.txt
Beobachten Sie die Logs, um zu prüfen, ob der Dienst ein Ereignis empfangen hat. So rufen Sie den Logeintrag auf:
Filtern Sie die Logeinträge und geben Sie die Ausgabe im JSON-Format zurück:
gcloud logging read "resource.labels.service_name=troubleshoot-service \ AND textPayload:random.txt" \ --format=json
Suchen Sie nach einem Logeintrag wie dem folgenden:
"textPayload": "Detected change in Cloud Storage bucket: ..."
Hinweis: Anfangs wird kein Logeintrag zurückgegeben. Dies weist auf ein Problem bei der Einrichtung hin, das Sie untersuchen müssen.
Problem untersuchen
Sie können nun den Grund dafür ermitteln, warum der Dienst keine Ereignisse empfängt.
Initialisierungszeit
Der Trigger wird zwar sofort erstellt, es kann jedoch bis zu zwei Minuten dauern, bis er wirksam wird und Ereignisse filtert. Führen Sie den folgenden Befehl aus, um zu prüfen, ob ein Trigger aktiv ist:
gcloud eventarc triggers list
In der Ausgabe wird der Status des Triggers angezeigt. Im folgenden Beispiel ist troubleshoot-trigger
ab 14:16:56 Uhr aktiv:
NAME TYPE DESTINATION_RUN_SERVICE ACTIVE
troubleshoot-trigger google.cloud.audit.log.v1.written troubleshoot-service By 14:16:56
Sobald der Trigger aktiv ist, laden Sie eine Datei noch einmal in den Speicher-Bucket hoch. Ereignisse werden in die Cloud Run-Dienstlogs geschrieben. Wenn der Dienst keine Ereignisse empfängt, kann dies mit der Größe der Ereignisse zusammenhängen.
Audit-Logs
In dieser Anleitung werden Cloud Storage-Ereignisse mithilfe von Cloud-Audit-Logs weitergeleitet und an Cloud Run gesendet. Prüfen Sie, ob die Audit-Logs für Cloud Storage aktiviert sind.
Rufen Sie in der Google Cloud Console die Seite Audit-Logs auf.
- Setzen Sie ein Häkchen in das Kästchen Google Cloud Storage.
- Achten Sie darauf, dass die Logtypen Lesen durch Administrator, Daten lesen und Daten schreiben ausgewählt sind.
Nachdem Sie Cloud-Audit-Logs aktiviert haben, laden Sie die Datei noch einmal in den Speicher-Bucket hoch und prüfen Sie die Logs. Wenn der Dienst immer noch keine Ereignisse empfängt, kann dies mit dem Triggerstandort zusammenhängen.
Triggerstandort
Es können mehrere Ressourcen an verschiedenen Standorten vorhanden sein und Sie müssen nach Ereignissen aus Quellen filtern, die sich in derselben Region wie das Cloud Run-Ziel befinden. Weitere Informationen finden Sie unter Von Eventarc unterstützte Standorte und Informationen zu Eventarc-Standorten.
In dieser Anleitung haben Sie den Cloud Run-Dienst in us-central1
bereitgestellt. Da Sie eventarc/location
auf us-central1
gesetzt haben, haben Sie auch am selben Standort einen Trigger erstellt.
Sie haben jedoch zwei Cloud Storage-Buckets an den Standorten us-east1
und us-west1
erstellt. Um Ereignisse von diesen Standorten zu erhalten, müssen Sie an diesen Standorten Eventarc-Trigger erstellen.
Eventarc-Trigger in us-east1
erstellen:
Bestätigen Sie den Standort des vorhandenen Triggers:
gcloud eventarc triggers describe troubleshoot-trigger
Legen Sie den Standort und die Region auf
us-east1
fest:gcloud config set eventarc/location us-east1 gcloud config set run/region us-east1
Bringen Sie den Ereignisempfänger noch einmal zum Laufen, indem Sie das Container-Image erstellen und in Cloud Run bereitstellen.
So erstellen Sie einen neuen Trigger in
us-east1
:gcloud eventarc triggers create troubleshoot-trigger-new \ --destination-run-service=troubleshoot-service \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=storage.googleapis.com" \ --event-filters="methodName=storage.objects.create" \ --service-account=${PROJECT_NUMBER}-compute@developer.gserviceaccount.com
Prüfen Sie, ob der Trigger erstellt wird:
gcloud eventarc triggers list
Die Initialisierung eines Triggers kann bis zu zwei Minuten dauern, bevor Ereignisse weitergeleitet werden.
Prüfen Sie, ob der Trigger jetzt richtig bereitgestellt wurde, indem Sie ein Ereignis generieren und ansehen.
Andere mögliche Probleme
Möglicherweise treten bei der Verwendung von Eventarc weitere Probleme auf.
Termingröße
Die von Ihnen gesendeten Ereignisse dürfen die Limits für die Ereignisgröße nicht überschreiten.
Ein Trigger, der Ereignisse bisher bereitgestellt hat, funktioniert nicht mehr
Prüfen Sie, ob die Quelle Ereignisse generiert. Prüfen Sie in den Cloud-Audit-Logs, ob der überwachte Dienst Logs ausgibt. Wenn Logs aufgezeichnet, aber keine Ereignisse zugestellt werden, wenden Sie sich an den Support.
Prüfen Sie, ob ein Pub/Sub-Thema mit demselben Triggernamen vorhanden ist. Eventarc verwendet Pub/Sub als Transportschicht und verwendet entweder ein vorhandenes Pub/Sub-Thema oder erstellt automatisch ein Thema und verwaltet es für Sie.
- Informationen zum Auflisten von Triggern finden Sie unter
gcloud eventarc triggers list
. Führen Sie folgenden Befehl aus, um die Pub/Sub-Themen aufzulisten:
gcloud pubsub topics list
Prüfen Sie, ob der Name des Pub/Sub-Themas den Namen des erstellten Triggers enthält. Beispiel:
name: projects/PROJECT_ID/topics/eventarc-us-east1-troubleshoot-trigger-new-123
Wenn das Pub/Sub-Thema fehlt, erstellen Sie den Trigger noch einmal für einen bestimmten Anbieter, einen Ereignistyp und ein Cloud Run-Ziel.
- Informationen zum Auflisten von Triggern finden Sie unter
Prüfen Sie, ob der Trigger für den Dienst konfiguriert wurde.
Öffnen Sie in der Google Cloud Console die Seite Dienste.
Klicken Sie auf den Namen des Dienstes, um die Seite Dienstdetails zu öffnen.
Klicken Sie auf den Tab Trigger.
Der mit dem Dienst verknüpfte Eventarc-Trigger sollte aufgeführt sein.
Prüfen Sie den Status des Pub/Sub-Themas und des Abos mithilfe von Pub/Sub-Messwerttypen.
Mit dem Messwert
subscription/dead_letter_message_count
können Sie weitergeleitete unzustellbare Nachrichten beobachten. Dieser Messwert zeigt die Anzahl der nicht zustellbaren Nachrichten, die Pub/Sub von einem Abo weiterleitet.Wenn keine Nachrichten zum Thema veröffentlicht werden, prüfen Sie in den Cloud-Audit-Logs, ob der überwachte Dienst Logs ausgibt. Wenn Logs aufgezeichnet, aber keine Ereignisse zugestellt werden, wenden Sie sich an den Support.
Sie können Push-Abos überwachen, indem Sie den Messwert
subscription/push_request_count
verwenden und nachresponse_code
undsubcription_id
gruppieren.Wenn Übertragungsfehler gemeldet werden, prüfen Sie die Cloud Run-Dienstlogs. Wenn der empfangende Endpunkt einen Statuscode zurückgibt, der nicht „OK“ ist, bedeutet dies, dass der Cloud Run-Code nicht wie erwartet funktioniert. Wenden Sie sich in diesem Fall an den Support.
Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien mit Messwertschwellen erstellen.
Bereinigen
Wenn Sie ein neues Projekt für diese Anleitung erstellt haben, löschen Sie das Projekt. Wenn Sie ein vorhandenes Projekt verwendet haben und es beibehalten möchten, ohne die Änderungen in dieser Anleitung hinzuzufügen, löschen Sie die für die Anleitung erstellten Ressourcen.
Projekt löschen
Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.
So löschen Sie das Projekt:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Anleitungsressourcen löschen
Löschen Sie den Cloud Run-Dienst, den Sie in dieser Anleitung bereitgestellt haben:
gcloud run services delete SERVICE_NAME
Dabei ist
SERVICE_NAME
der von Ihnen ausgewählte Dienstname.Sie können Cloud Run-Dienste auch über die Google Cloud Console löschen.
Entfernen Sie gcloud CLI-Standardkonfigurationen, die Sie während der Einrichtung der Anleitung hinzugefügt haben.
Beispiel:
gcloud config unset run/region
oder
gcloud config unset project
Löschen Sie sonstige Google Cloud-Ressourcen, die in dieser Anleitung erstellt wurden:
- Löschen Sie den Eventarc-Trigger:
Ersetzen Siegcloud eventarc triggers delete TRIGGER_NAME
TRIGGER_NAME
durch den Namen des Triggers.
- Löschen Sie den Eventarc-Trigger: