Cloud Storage-Anleitung

Diese einfache Anleitung zeigt das Schreiben, Bereitstellen und Auslösen einer Cloud Functions-Hintergrundfunktion mit einem Cloud Storage-Trigger.

Ziele

Kosten

In dieser Anleitung werden kostenpflichtige Komponenten der Cloud Platform verwendet, darunter:

  • Google Cloud Functions
  • Google Cloud Storage

Mit unserem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung erstellen.

Neuen Cloud Platform-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Vorbereitung

  1. Melden Sie sich bei Ihrem Google-Konto an.

    Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.

  2. Wählen Sie in der Cloud Console auf der Seite für die Projektauswahl ein Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

  4. Cloud Functions, Cloud Build, and Cloud Storage APIs aktivieren.

    Aktivieren Sie die APIs

  5. Installieren und initialisieren Sie das Cloud SDK.
  6. Aktualisieren Sie die gcloud-Komponenten:
    gcloud components update
  7. Bereiten Sie Ihre Entwicklungsumgebung vor:

Anwendung vorbereiten

  1. Erstellen Sie einen Cloud Storage-Bucket zum Hochladen einer Testdatei. Dabei sollte YOUR_TRIGGER_BUCKET_NAME ein Bucket-Name sein, der global nur einmal vorkommt:

    gsutil mb gs://YOUR_TRIGGER_BUCKET_NAME
    
  2. Klonen Sie das Repository der Beispiel-App auf Ihren lokalen Computer:

    Node.js

    git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

    Sie können auch das Beispiel als ZIP-Datei herunterladen und extrahieren.

    Python

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

    Sie können auch das Beispiel als ZIP-Datei herunterladen und extrahieren.

    Go

    git clone https://github.com/GoogleCloudPlatform/golang-samples.git

    Sie können auch das Beispiel als ZIP-Datei herunterladen und extrahieren.

    Java

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git

    Sie können auch das Beispiel als ZIP-Datei herunterladen und extrahieren.

  3. Wechseln Sie in das Verzeichnis, das den Cloud Functions-Beispielcode enthält:

    Node.js

    cd nodejs-docs-samples/functions/helloworld/

    Python

    cd python-docs-samples/functions/helloworld/

    Go

    cd golang-samples/functions/helloworld/

    Java

    cd java-docs-samples/functions/helloworld/hello-gcs/

Funktion bereitstellen und auslösen

Derzeit basieren Cloud Storage-Funktionen auf Pub/Sub-Benachrichtigungen von Cloud Storage und unterstützen ähnliche Ereignistypen:

In den folgenden Abschnitten erfahren Sie, wie Sie für jeden dieser Ereignistypen eine Funktion bereitstellen und auslösen.

Objekt finalisieren: Ereignisse vom Typ "Object Finalize"

Object-Finalize-Ereignisse werden ausgelöst, wenn der "Schreibvorgang" eines Cloud Storage-Objekts erfolgreich abgeschlossen wurde. Dieses Ereignis wird also ausgelöst, wenn ein neues Objekt erstellt oder ein vorhandenes Objekt überschrieben wird. Archive- und Metadata-Update-Vorgänge werden von diesem Trigger ignoriert.

Objekt finalisieren: Funktion bereitstellen

Sehen Sie sich die Beispielfunktion zur Verarbeitung von Cloud Storage-Ereignissen an:

Node.js

/**
 * Generic background Cloud Function to be triggered by Cloud Storage.
 *
 * @param {object} file The Cloud Storage file metadata.
 * @param {object} context The event metadata.
 */
exports.helloGCS = (file, context) => {
  console.log(`  Event: ${context.eventId}`);
  console.log(`  Event Type: ${context.eventType}`);
  console.log(`  Bucket: ${file.bucket}`);
  console.log(`  File: ${file.name}`);
  console.log(`  Metageneration: ${file.metageneration}`);
  console.log(`  Created: ${file.timeCreated}`);
  console.log(`  Updated: ${file.updated}`);
};

Python

def hello_gcs(event, context):
    """Background Cloud Function to be triggered by Cloud Storage.
       This generic function logs relevant data when a file is changed.

    Args:
        event (dict):  The dictionary with data specific to this type of event.
                       The `data` field contains a description of the event in
                       the Cloud Storage `object` format described here:
                       https://cloud.google.com/storage/docs/json_api/v1/objects#resource
        context (google.cloud.functions.Context): Metadata of triggering event.
    Returns:
        None; the output is written to Stackdriver Logging
    """

    print('Event ID: {}'.format(context.event_id))
    print('Event type: {}'.format(context.event_type))
    print('Bucket: {}'.format(event['bucket']))
    print('File: {}'.format(event['name']))
    print('Metageneration: {}'.format(event['metageneration']))
    print('Created: {}'.format(event['timeCreated']))
    print('Updated: {}'.format(event['updated']))

Go


// Package helloworld provides a set of Cloud Functions samples.
package helloworld

import (
	"context"
	"fmt"
	"log"
	"time"

	"cloud.google.com/go/functions/metadata"
)

// GCSEvent is the payload of a GCS event.
type GCSEvent struct {
	Kind                    string                 `json:"kind"`
	ID                      string                 `json:"id"`
	SelfLink                string                 `json:"selfLink"`
	Name                    string                 `json:"name"`
	Bucket                  string                 `json:"bucket"`
	Generation              string                 `json:"generation"`
	Metageneration          string                 `json:"metageneration"`
	ContentType             string                 `json:"contentType"`
	TimeCreated             time.Time              `json:"timeCreated"`
	Updated                 time.Time              `json:"updated"`
	TemporaryHold           bool                   `json:"temporaryHold"`
	EventBasedHold          bool                   `json:"eventBasedHold"`
	RetentionExpirationTime time.Time              `json:"retentionExpirationTime"`
	StorageClass            string                 `json:"storageClass"`
	TimeStorageClassUpdated time.Time              `json:"timeStorageClassUpdated"`
	Size                    string                 `json:"size"`
	MD5Hash                 string                 `json:"md5Hash"`
	MediaLink               string                 `json:"mediaLink"`
	ContentEncoding         string                 `json:"contentEncoding"`
	ContentDisposition      string                 `json:"contentDisposition"`
	CacheControl            string                 `json:"cacheControl"`
	Metadata                map[string]interface{} `json:"metadata"`
	CRC32C                  string                 `json:"crc32c"`
	ComponentCount          int                    `json:"componentCount"`
	Etag                    string                 `json:"etag"`
	CustomerEncryption      struct {
		EncryptionAlgorithm string `json:"encryptionAlgorithm"`
		KeySha256           string `json:"keySha256"`
	}
	KMSKeyName    string `json:"kmsKeyName"`
	ResourceState string `json:"resourceState"`
}

// HelloGCS consumes a GCS event.
func HelloGCS(ctx context.Context, e GCSEvent) error {
	meta, err := metadata.FromContext(ctx)
	if err != nil {
		return fmt.Errorf("metadata.FromContext: %v", err)
	}
	log.Printf("Event ID: %v\n", meta.EventID)
	log.Printf("Event type: %v\n", meta.EventType)
	log.Printf("Bucket: %v\n", e.Bucket)
	log.Printf("File: %v\n", e.Name)
	log.Printf("Metageneration: %v\n", e.Metageneration)
	log.Printf("Created: %v\n", e.TimeCreated)
	log.Printf("Updated: %v\n", e.Updated)
	return nil
}

Java

import com.google.cloud.functions.BackgroundFunction;
import com.google.cloud.functions.Context;
import functions.eventpojos.GcsEvent;
import java.util.logging.Logger;

public class HelloGcs implements BackgroundFunction<GcsEvent> {
  private static final Logger logger = Logger.getLogger(HelloGcs.class.getName());

  @Override
  public void accept(GcsEvent event, Context context) {
    logger.info("Event: " + context.eventId());
    logger.info("Event Type: " + context.eventType());
    logger.info("Bucket: " + event.getBucket());
    logger.info("File: " + event.getName());
    logger.info("Metageneration: " + event.getMetageneration());
    logger.info("Created: " + event.getTimeCreated());
    logger.info("Updated: " + event.getUpdated());
  }
}

Zum Bereitstellen der Funktion führen Sie den folgenden Befehl in dem Verzeichnis aus, in dem sich der Beispielcode befindet:

Node.js

gcloud functions deploy helloGCS \
--runtime nodejs10 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.finalize
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Node.js festlegen:
  • nodejs10
  • nodejs12

Python

gcloud functions deploy hello_gcs \
--runtime python37 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.finalize
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Python festlegen:
  • python37
  • python38

Go

gcloud functions deploy HelloGCSInfo \
--runtime go111 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.finalize
Mit diesen Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Go festlegen:
  • go111
  • go113

Java

gcloud functions deploy java-gcs-function \
--entry-point functions.HelloGcs \
--runtime java11 \
--memory 512MB \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.finalize

Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, der die Funktion auslöst.

Objekt finalisieren: Funktion auslösen

So lösen Sie die Funktion aus:

  1. Erstellen Sie eine leere Datei gcf-test.txt in dem Verzeichnis, in dem sich der Beispielcode befindet.

  2. Laden Sie die Datei in Cloud Storage hoch, um die Funktion auszulösen:

    gsutil cp gcf-test.txt gs://YOUR_TRIGGER_BUCKET_NAME
    

    Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, in den die Testdatei hochgeladen werden soll.

  3. Prüfen Sie anhand der Logs, ob die Vorgänge abgeschlossen wurden:

    gcloud functions logs read --limit 50
    

Objekt löschen: Ereignisse vom Typ "Object Delete"

Object-Delete-Ereignisse sind besonders hilfreich für Buckets ohne Versionsverwaltung. Sie werden ausgelöst, wenn eine alte Version eines Objekts gelöscht wird. Außerdem werden sie ausgelöst, wenn ein Objekt überschrieben wird. Object-Delete-Trigger können auch mit Buckets mit Versionsverwaltung verwendet werden. Sie werden ausgelöst, wenn eine Version eines Objekts endgültig gelöscht wird.

Objekt löschen: Funktion bereitstellen

Verwenden Sie denselben Beispielcode wie im Finalize-Beispiel, um die Funktion mit dem Triggerereignis "Object Delete" bereitzustellen. Führen Sie den folgenden Befehl in dem Verzeichnis aus, in dem sich der Beispielcode befindet:

Node.js

gcloud functions deploy helloGCS \
--runtime nodejs10 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.delete
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Node.js festlegen:
  • nodejs10
  • nodejs12

Python

gcloud functions deploy hello_gcs \
--runtime python37 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.delete
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Python festlegen:
  • python37
  • python38

Go

gcloud functions deploy HelloGCSInfo \
--runtime go111 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.delete
Mit diesen Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Go festlegen:
  • go111
  • go113

Java

gcloud functions deploy java-gcs-function \
--entry-point functions.HelloGcs \
--runtime java11 \
--memory 512MB \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.delete

Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, der die Funktion auslöst.

Objekt löschen: Funktion auslösen

So lösen Sie die Funktion aus:

  1. Erstellen Sie eine leere Datei gcf-test.txt in dem Verzeichnis, in dem sich der Beispielcode befindet.

  2. Prüfen Sie, ob die Versionsverwaltung des Buckets deaktiviert ist:

    gsutil versioning set off gs://YOUR_TRIGGER_BUCKET_NAME
    
  3. Laden Sie die Datei in Cloud Storage hoch:

    gsutil cp gcf-test.txt gs://YOUR_TRIGGER_BUCKET_NAME
    

    Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, in den die Testdatei hochgeladen werden soll. An diesem Punkt sollte die Funktion noch nicht ausgeführt werden.

  4. Löschen Sie die Datei, um die Funktion auszulösen:

    gsutil rm gs://YOUR_TRIGGER_BUCKET_NAME/gcf-test.txt
    
  5. Prüfen Sie anhand der Logs, ob die Vorgänge abgeschlossen wurden:

    gcloud functions logs read --limit 50
    

Die Ausführung der Funktion kann einige Zeit in Anspruch nehmen.

Objekt archivieren: Ereignisse vom Typ "Object Archive"

Object-Archive-Ereignisse können nur mit Buckets mit Versionsverwaltung verwendet werden. Sie werden ausgelöst, wenn eine alte Version eines Objekts archiviert wird. Ein Archive-Ereignis wird also ausgelöst, wenn ein Objekt überschrieben oder gelöscht wird.

Objekt archivieren: Funktion bereitstellen

Verwenden Sie denselben Beispielcode wie im Finalize-Beispiel, um die Funktion mit dem Triggerereignis "Object Archive" bereitzustellen. Führen Sie den folgenden Befehl in dem Verzeichnis aus, in dem sich der Beispielcode befindet:

Node.js

gcloud functions deploy helloGCS \
--runtime nodejs10 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.archive
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Node.js festlegen:
  • nodejs10
  • nodejs12

Python

gcloud functions deploy hello_gcs \
--runtime python37 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.archive
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Python festlegen:
  • python37
  • python38

Go

gcloud functions deploy HelloGCSInfo \
--runtime go111 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.archive
Mit diesen Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Go festlegen:
  • go111
  • go113

Java

gcloud functions deploy java-gcs-function \
--entry-point functions.HelloGcs \
--runtime java11 \
--memory 512MB \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.archive

Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, der die Funktion auslöst.

Objekt archivieren: Funktion auslösen

So lösen Sie die Funktion aus:

  1. Erstellen Sie eine leere Datei gcf-test.txt in dem Verzeichnis, in dem sich der Beispielcode befindet.

  2. Prüfen Sie, ob die Versionsverwaltung des Buckets aktiviert ist:

    gsutil versioning set on gs://YOUR_TRIGGER_BUCKET_NAME
    
  3. Laden Sie die Datei in Cloud Storage hoch:

    gsutil cp gcf-test.txt gs://YOUR_TRIGGER_BUCKET_NAME
    

    Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, in den die Testdatei hochgeladen werden soll. An diesem Punkt sollte die Funktion noch nicht ausgeführt werden.

  4. Archivieren Sie die Datei, um die Funktion auszulösen:

    gsutil rm gs://YOUR_TRIGGER_BUCKET_NAME/gcf-test.txt
    
  5. Überprüfen Sie anhand der Logs, ob die Vorgänge abgeschlossen wurden:

    gcloud functions logs read --limit 50
    

Objektmetadaten aktualisieren: Object Metadata Update

Object-Metadata-Update-Ereignisse werden ausgelöst, wenn die Metadaten vorhandener Objekte aktualisiert werden.

Objektmetadaten aktualisieren: Funktion bereitstellen

Verwenden Sie denselben Beispielcode wie im Finalize-Beispiel, um die Funktion mit dem Triggerereignis "Metadata Update" bereitzustellen. Führen Sie den folgenden Befehl in dem Verzeichnis aus, in dem sich der Beispielcode befindet:

Node.js

gcloud functions deploy helloGCS \
--runtime nodejs10 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.metadataUpdate
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Node.js festlegen:
  • nodejs10
  • nodejs12

Python

gcloud functions deploy hello_gcs \
--runtime python37 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.metadataUpdate
Mit den folgenden Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Python festlegen:
  • python37
  • python38

Go

gcloud functions deploy HelloGCSInfo \
--runtime go111 \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.metadataUpdate
Mit diesen Werten für das Flag --runtime können Sie Ihre bevorzugte Version von Go festlegen:
  • go111
  • go113

Java

gcloud functions deploy java-gcs-function \
--entry-point functions.HelloGcs \
--runtime java11 \
--memory 512MB \
--trigger-resource YOUR_TRIGGER_BUCKET_NAME \
--trigger-event google.storage.object.metadataUpdate

Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, der die Funktion auslöst.

Objektmetadaten aktualisieren: Funktion auslösen

So lösen Sie die Funktion aus:

  1. Erstellen Sie eine leere Datei gcf-test.txt in dem Verzeichnis, in dem sich der Beispielcode befindet.

  2. Prüfen Sie, ob die Versionsverwaltung des Buckets deaktiviert ist:

    gsutil versioning set off gs://YOUR_TRIGGER_BUCKET_NAME
    
  3. Laden Sie die Datei in Cloud Storage hoch:

    gsutil cp gcf-test.txt gs://YOUR_TRIGGER_BUCKET_NAME
    

    Dabei ist YOUR_TRIGGER_BUCKET_NAME der Name des Cloud Storage-Buckets, in den die Testdatei hochgeladen werden soll. An diesem Punkt sollte die Funktion noch nicht ausgeführt werden.

  4. Aktualisieren Sie die Metadaten der Datei:

    gsutil -m setmeta -h "Content-Type:text/plain" gs://YOUR_TRIGGER_BUCKET_NAME/gcf-test.txt
    
  5. Prüfen Sie anhand der Logs, ob die Vorgänge abgeschlossen wurden:

    gcloud functions logs read --limit 50
    

Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud Platform-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten, wenn Sie das zum Ausführen der Anleitung erstellte Projekt löschen.

So löschen Sie das Projekt:

  1. Wechseln Sie in der Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite "Ressourcen verwalten"

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen .
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Beenden, um das Projekt zu löschen.

Cloud Functions-Funktion löschen

Durch das Löschen von Cloud Functions-Funktionen werden keine in Cloud Storage gespeicherten Ressourcen entfernt.

Führen Sie den folgenden Befehl aus, um die in dieser Anleitung erstellte Cloud Functions-Funktion zu löschen:

Node.js

gcloud functions delete helloGCS 

Python

gcloud functions delete hello_gcs 

Go

gcloud functions delete HelloGCSInfo 

Java

gcloud functions delete java-gcs-function 

Sie können Cloud Functions-Funktionen auch über die Google Cloud Console löschen.