Cloud Storage-Abos erstellen

In diesem Dokument wird beschrieben, wie Sie ein Cloud Storage-Abo erstellen. Sie können die Google Cloud -Console, die Google Cloud CLI, die Clientbibliothek oder die Pub/Sub API verwenden, um ein Cloud Storage-Abo zu erstellen.

Hinweise

Bevor Sie dieses Dokument lesen, sollten Sie mit Folgendem vertraut sein:

• Funktionsweise eines Cloud Storage-Abos
• Wie Cloud Storage funktioniert und wie Sie Cloud Storage-Buckets erstellen und verwalten.
• Informationen zum Konfigurieren eines Themas für unzustellbare Nachrichten, um Nachrichtenfehler zu behandeln.

Erforderliche Rollen und Berechtigungen

Die folgende Liste enthält Richtlinien zu Rollen und Berechtigungen:

• Wenn Sie ein Abo erstellen möchten, müssen Sie die Zugriffssteuerung auf Projektebene konfigurieren.

• Sie benötigen auch Berechtigungen auf Ressourcenebene, wenn sich Ihre Abos und Themen in verschiedenen Projekten befinden, wie weiter unten in diesem Abschnitt erläutert.

• Damit ein Cloud Storage-Abo erstellt werden kann, muss das Pub/Sub-Dienstkonto die Berechtigung zum Schreiben in den entsprechenden Cloud Storage-Bucket und zum Lesen der Bucket-Metadaten haben. Weitere Informationen zum Gewähren dieser Berechtigungen finden Sie im nächsten Abschnitt dieses Dokuments.

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Pub/Sub Editor (roles/pubsub.editor) für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen von Cloud Storage-Abos benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von Cloud Storage-Abos erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen von Cloud Storage-Abos erforderlich:

• So erstellst du ein Abo: pubsub.subscriptions.create
• So hängen Sie ein Abo an ein Thema an: pubsub.topics.attachSubscription
• Daten aus einem Abo abrufen: pubsub.subscriptions.consume
• Abo abschließen: pubsub.subscriptions.get
• Abo auflisten: pubsub.subscriptions.list
• Abo aktualisieren: pubsub.subscriptions.update
• So löschen Sie ein Abo: pubsub.subscriptions.delete
• Rufen Sie die IAM-Richtlinie für ein Abo ab: pubsub.subscriptions.getIamPolicy
• Konfigurieren Sie die IAM-Richtlinie für ein Abo: pubsub.subscriptions.setIamPolicy

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Wenn Sie Cloud Storage-Abos in einem Projekt erstellen möchten, die mit einem Thema in einem anderen Projekt verknüpft sind, bitten Sie den Administrator des Themas, Ihnen auch die IAM-Rolle „Pub/Sub Editor“ (roles/pubsub.editor) für das Thema zu gewähren.

Cloud Storage-Rollen dem Pub/Sub-Dienstkonto zuweisen

Einige Google Cloud -Dienste haben von Google Cloudverwaltete Dienstkonten, mit denen die Dienste auf Ihre Ressourcen zugreifen können. Diese Dienstkonten werden als Dienst-Agents bezeichnet. Pub/Sub erstellt und verwaltet für jedes Projekt ein Dienstkonto im Format [e-mail].

Damit ein Cloud Storage-Abo erstellt werden kann, muss das Pub/Sub-Dienstkonto die Berechtigung zum Schreiben in den entsprechenden Cloud Storage-Bucket und zum Lesen der Bucket-Metadaten haben. Sie haben folgende Möglichkeiten:

• Berechtigungen auf Bucket-Ebene erteilen Weisen Sie dem Pub/Sub-Dienstkonto für den jeweiligen Cloud Storage-Bucket die Rolle „Storage Object Creator“ (roles/storage.objectCreator) und die Rolle „Storage Legacy Bucket Reader“ (roles/storage.legacyBucketReader) zu.

• Wenn Sie Rollen auf Projektebene zuweisen müssen, können Sie stattdessen die Rolle „Storage-Administrator“ (roles/storage.admin) für das Projekt zuweisen, das den Cloud Storage-Bucket enthält. Weisen Sie diese Rolle dem Pub/Sub-Dienstkonto zu.

Bucket-Berechtigungen

Führen Sie die folgenden Schritte aus, um die Rollen „Storage-Objekt-Ersteller“ (roles/storage.objectCreator) und „Storage Legacy Bucket Reader“ (roles/storage.legacyBucketReader) auf Bucket-Ebene zu gewähren:

1. Rufen Sie in der Google Cloud -Konsole die Seite Cloud Storage auf.

   Cloud Storage aufrufen

2. Klicken Sie auf den Cloud Storage-Bucket, in den Sie Nachrichten schreiben möchten.

   Die Seite Bucket-Details wird geöffnet.

3. Klicken Sie auf der Seite Bucket-Details auf den Tab Berechtigungen.

4. Klicken Sie auf dem Tab Berechtigungen > Nach Hauptkonten ansehen auf Zugriff gewähren.

   Die Seite Zugriff gewähren wird geöffnet.

5. Geben Sie im Bereich Hauptkonten hinzufügen den Namen Ihres Pub/Sub-Dienstkontos ein.

   Das Dienstkonto hat das Format [e-mail]. Bei einem Projekt mit PROJECT_NUMBER=112233445566 hat das Dienstkonto beispielsweise das Format [e-mail].

6. Geben Sie im Drop-down-Menü Rollen zuweisen > Rolle auswählen die Zeichenfolge Creator ein und wählen Sie die Rolle Storage Object Creator aus.

7. Klicken Sie auf Weitere Rolle hinzufügen.

8. Geben Sie im Drop-down-Menü Rolle auswählen die Zahl Bucket Reader ein und wählen Sie die Rolle Storage Legacy Bucket Reader aus.

9. Klicken Sie auf Speichern.

Projektberechtigungen

Führen Sie die folgenden Schritte aus, um die Rolle „Storage-Administrator“ (roles/storage.admin) auf Projektebene zuzuweisen:

1. Öffnen Sie in der Google Cloud Console die Seite IAM.

   IAM aufrufen

2. Klicken Sie auf dem Tab Berechtigungen > Nach Hauptkonten ansehen auf Zugriff gewähren.

   Die Seite Zugriff gewähren wird geöffnet.

3. Geben Sie im Bereich Hauptkonten hinzufügen den Namen Ihres Pub/Sub-Dienstkontos ein.

   Das Dienstkonto hat das Format [e-mail]. Bei einem Projekt mit PROJECT_NUMBER=112233445566 hat das Dienstkonto beispielsweise das Format [e-mail].

4. Geben Sie im Drop-down-Menü Rollen zuweisen > Rolle auswählen die Zahl Storage Admin ein und wählen Sie die Rolle Storage-Administrator aus.

5. Klicken Sie auf Speichern.

Weitere Informationen zu Cloud Storage IAM finden Sie unter Identity and Access Management für Cloud Storage.

Eigenschaften von Cloud Storage-Abos

Wenn Sie ein Cloud Storage-Abo konfigurieren, müssen Sie die Eigenschaften angeben, die für alle Abotypen gemeinsam sind, sowie einige zusätzliche Cloud Storage-spezifische Aboeigenschaften.

Allgemeine Abo-Properties

Weitere Informationen zu den allgemeinen Aboeigenschaften, die Sie für alle Abos festlegen können

Bucket-Name

Ein Cloud Storage-Bucket muss bereits vorhanden sein, bevor Sie ein Cloud Storage-Abo erstellen.

Die Nachrichten werden als Batches gesendet und im Cloud Storage-Bucket gespeichert. Ein einzelner Batch oder eine einzelne Datei wird als Objekt im Bucket gespeichert.

Für den Cloud Storage-Bucket muss Anfragender bezahlt deaktiviert sein.

Informationen zum Erstellen eines Cloud Storage-Bucket finden Sie unter Buckets erstellen.

Präfix, Suffix und Datum/Uhrzeit für Dateinamen

Die vom Cloud Storage-Abo generierten Cloud Storage-Ausgabedateien werden als Objekte im Cloud Storage-Bucket gespeichert. Der Name des im Cloud Storage-Bucket gespeicherten Objekts hat das folgende Format: <file-prefix><UTC-date-time>_<uuid><file-suffix>.

Die folgende Liste enthält Details zum Dateiformat und zu den Feldern, die Sie anpassen können:

• <file-prefix> ist das benutzerdefinierte Dateinamenspräfix. Dieses Feld ist optional.

• <UTC-date-time> ist ein anpassbarer, automatisch generierter String, der auf der Zeit basiert, zu der das Objekt erstellt wurde.

• <uuid> ist ein automatisch generierter Zufallsstring für das Objekt.

• <file-suffix> ist das benutzerdefinierte Dateinamensuffix. Dieses Feld ist optional. Das Dateiendung darf nicht auf „/“ enden.

• Sie können das Präfix und Suffix des Dateinamens ändern:

  • Wenn der Wert des Dateinamenspräfixes beispielsweise prod_ und der Wert des Dateinamenssuffixes _archive ist, lautet ein Beispielobjektname prod_2023-09-25T04:10:00+00:00_uN1QuE_archive.

  • Wenn Sie kein Dateinamenpräfix und ‑suffix angeben, hat der im Cloud Storage-Bucket gespeicherte Objektname das Format <UTC-date-time>_<uuid>.

  • Die Anforderungen für die Benennung von Cloud Storage-Objekten gelten auch für das Präfix und Suffix des Dateinamens. Weitere Informationen finden Sie unter Cloud Storage-Objekte.

• Sie können festlegen, wie Datum und Uhrzeit im Dateinamen angezeigt werden:

  • Erforderliche Datum/Uhrzeit-Abgleiche, die nur einmal verwendet werden können: Jahr (YYYY oder YY), Monat (MM), Tag (DD), Stunde (hh), Minute (mm), Sekunde (ss). YY-YYYY oder MMM sind beispielsweise ungültig.

  • Optionale Übereinstimmungen, die nur einmal verwendet werden können: Datums-/Uhrzeit-Trennzeichen (T) und Zeitzonendifferenz (Z oder +00:00).

  • Optionale Elemente, die Sie mehrmals verwenden können: Bindestrich (-), Unterstrich (_), Doppelpunkt (:) und Schrägstrich (/).

  • Wenn der Wert des Dateinamens im Datums-/Uhrzeitformat beispielsweise YYYY-MM-DD/hh_mm_ssZ ist, ist ein Beispielobjektname prod_2023-09-25/04_10_00Z_uNiQuE_archive.

  • Wenn das Datums-/Uhrzeitformat des Dateinamens auf ein Zeichen endet, das kein Übereinstimmungszeichen ist, wird dieses Zeichen durch das Trennzeichen zwischen <UTC-date-time> und <uuid> ersetzt. Wenn der Wert des Dateinamens im Datums-/Uhrzeitformat beispielsweise YYYY-MM-DDThh_mm_ss- ist, ist ein Beispielobjektname prod_2023-09-25T04_10_00-uNiQuE_archive.

Batchverarbeitung von Dateien

Mit Cloud Storage-Abos können Sie festlegen, wann eine neue Ausgabedatei erstellt werden soll, die als Objekt im Cloud Storage-Bucket gespeichert wird. Pub/Sub schreibt eine Ausgabedatei, wenn eine der angegebenen Bedingungen für die Batchverarbeitung erfüllt ist. Die folgenden Bedingungen gelten für die Batchverarbeitung in Cloud Storage:

• Maximale Storage-Batchdauer Diese Einstellung ist erforderlich. Das Cloud Storage-Abo schreibt eine neue Ausgabedatei, wenn der angegebene Wert für die maximale Dauer überschritten wird. Wenn Sie keinen Wert angeben, wird der Standardwert „5 Minuten“ verwendet. Folgende Werte sind für die maximale Dauer zulässig:

  • Mindestwert = 1 Minute
  • Standardwert: 5 Minuten
  • Maximalwert: 10 Minuten

• Max.Storage-Batchbyte Diese Einstellung ist optional. Das Cloud Storage-Abo schreibt eine neue Ausgabedatei, wenn der angegebene Wert für die maximale Anzahl von Byte überschritten wird. Folgende Werte sind für „max. Bytes“ zulässig:

  • Mindestwert = 1 KB
  • Maximalwert = 10 GiB

• Storage-Batch-Nachrichten Diese Einstellung ist optional. Das Cloud Storage-Abo schreibt eine neue Ausgabedatei, wenn die angegebene maximale Anzahl von Nachrichten überschritten wird. Folgende Werte sind für „max. Nachrichten“ zulässig:

  • Mindestwert = 1.000

Sie können beispielsweise „max_duration“ auf 6 Minuten und „max_bytes“ auf 2 GB konfigurieren. Wenn die Ausgabedatei in der 4. Minute eine Dateigröße von 2 GB erreicht, schließt Pub/Sub die vorherige Datei ab und beginnt, in eine neue Datei zu schreiben.

Ein Cloud Storage-Abo kann gleichzeitig in mehrere Dateien in einem Cloud Storage-Bucket schreiben. Wenn Sie Ihr Abo so konfiguriert haben, dass alle sechs Minuten eine neue Datei erstellt wird, werden möglicherweise alle sechs Minuten mehrere Cloud Storage-Dateien erstellt.

In einigen Fällen beginnt Pub/Sub möglicherweise früher mit dem Schreiben in eine neue Datei, als in den Bedingungen für die Dateigruppierung konfiguriert. Eine Datei kann auch den Wert „Max. Bytes“ überschreiten, wenn das Abo Nachrichten empfängt, die größer als der Wert „Max. Bytes“ sind.

Dateiformat

Wenn Sie ein Cloud Storage-Abo erstellen, können Sie das Format der Ausgabedateien, die in einem Cloud Storage-Bucket gespeichert werden sollen, als Text oder Avro angeben.

• Text: Die Nachrichten werden als Nur-Text gespeichert. Ein Zeilenumbruch trennt eine Nachricht von der vorherigen Nachricht in der Datei. Es werden nur Nachrichtennutzlasten gespeichert, keine Attribute oder anderen Metadaten.

• Avro: Die Nachrichten werden im binären Apache Avro-Format gespeichert. Wenn Sie Avro auswählen, können Sie die folgenden zusätzlichen Properties aktivieren:

  • Metadaten schreiben: Mit dieser Option können Sie die Nachrichtenmetadaten zusammen mit der Nachricht speichern. Metadaten wie subscription_name-, message_id-, publish_time- und attributes-Felder werden in die obersten Felder im Ausgabe-Avro-Objekt geschrieben. Alle anderen Nachrichteneigenschaften außer Daten (z. B. ein vorhandener „ordering_key“) werden als Einträge in die attributes-Map eingefügt.

    Wenn Metadaten schreiben deaktiviert ist, wird nur die Nachrichtenn-Nutzlast in das Ausgabe-Avro-Objekt geschrieben. Hier ist das Avro-Schema für die Ausgabenachrichten, bei dem Metadaten schreiben deaktiviert ist:

    {
      "type": "record",
      "namespace": "com.google.pubsub",
      "name": "PubsubMessage",
      "fields": [
        { "name": "data", "type": "bytes" }
      ]
    }
    

    Hier ist das Avro-Schema für die Ausgabenachrichten mit aktivierter Option Metadaten schreiben:

    {
      "type": "record",
      "namespace": "com.google.pubsub",
      "name": "PubsubMessageWithMetadata",
      "fields": [
        { "name": "subscription_name", "type": "string" },
        { "name": "message_id", "type": "string"  },
        { "name": "publish_time", "type": {
            "type": "long",
            "logicalType": "timestamp-micros"
          }
        },
        { "name": "attributes", "type": { "type": "map", "values": "string" } },
        { "name": "data", "type": "bytes" }
      ]
    }
    

  • Schema des Themas verwenden: Mit dieser Option kann Pub/Sub beim Schreiben von Avro-Dateien das Schema des Pub/Sub-Themas verwenden, an das das Abo angehängt ist.

    Beachten Sie bei Verwendung dieser Option die folgenden zusätzlichen Anforderungen:

    • Das Themenschema muss im Apache Avro-Format vorliegen.

    • Wenn sowohl Topic-Schema verwenden als auch Metadaten schreiben aktiviert sind, muss das Topic-Schema ein Record-Objekt als Stamm haben. Pub/Sub erweitert die Liste der Felder des Datensatzes um die Metadatenfelder. Daher darf der Datensatz keine Felder mit demselben Namen wie die Metadatenfelder (subscription_name, message_id, publish_time oder attributes) enthalten.

Cloud Storage-Abo erstellen

Console

1. Rufen Sie in der Google Cloud -Console die Seite Abos auf.

   Zu den Abos

2. Klicken Sie auf Abo erstellen.

3. Geben Sie im Feld Abo-ID einen Namen ein.

   Informationen zum Benennen eines Abos finden Sie unter Richtlinien für die Benennung eines Themas oder Abos.

4. Wählen Sie im Drop-down-Menü ein Thema aus oder erstellen Sie ein Thema.

   Das Abo erhält Nachrichten aus dem Thema.

   Weitere Informationen zum Erstellen eines Themas finden Sie unter Themen erstellen und verwalten.

5. Wählen Sie als Zustellungstyp In Cloud Storage schreiben aus.

6. Klicken Sie für den Cloud Storage-Bucket auf Durchsuchen.

   • Sie können einen vorhandenen Bucket aus einem beliebigen geeigneten Projekt auswählen.

   • Sie können auch auf das Symbol „Erstellen“ klicken und der Anleitung auf dem Bildschirm folgen, um einen neuen Bucket zu erstellen.

     Wählen Sie nach dem Erstellen des Buckets den Bucket für das Cloud Storage-Abo aus.

     Weitere Informationen zum Erstellen eines Buckets finden Sie unter Buckets erstellen.

   Wenn Sie den Bucket angeben, prüft Pub/Sub, ob das Pub/Sub-Dienstkonto die entsprechenden Berechtigungen für den Bucket hat. Bei Berechtigungsproblemen wird eine Meldung ähnlich der folgenden angezeigt: Unable to verify if the Pub/Sub service agent has write permissions on this bucket. You may be lacking permissions to view or set permissions.

7. Wenn Berechtigungsprobleme auftreten, klicken Sie auf Berechtigung festlegen und folgen Sie der Anleitung auf dem Bildschirm.

   Alternativ können Sie der Anleitung unter Cloud Storage-Rollen dem Pub/Sub-Dienstkonto zuweisen folgen.

8. Wählen Sie unter Dateiformat die Option Text oder Avro aus.

   Wenn Sie Avro auswählen, können Sie optional angeben, ob die Nachrichtenmetadaten in der Ausgabe gespeichert werden sollen.

   Weitere Informationen zu den beiden Optionen, einschließlich der Option für Nachrichtenmetadaten für das Avro-Format, finden Sie unter Dateiformat.

9. Optional: Sie können das Präfix, Suffix und das Datum und die Uhrzeit für alle Dateien angeben, die in den Cloud Storage-Bucket geschrieben werden sollen. Eine Datei wird als Objekt im Bucket gespeichert.

   Weitere Informationen zum Festlegen des Dateipräfixes, ‑suffixes und ‑datums finden Sie unter Dateipräfix, ‑suffix und ‑datum.

10. Geben Sie für die Dateigruppierung eine maximale Zeit an, die verstreichen darf, bevor eine neue Datei erstellt wird.

    Optional können Sie auch die maximale Dateigröße oder die maximale Anzahl von Nachrichten für die Dateien festlegen.

    Weitere Informationen zu beiden Optionen für die Dateigruppierung finden Sie unter Dateigruppierung.

11. Wir empfehlen Ihnen dringend, die Funktion Deadletter zu aktivieren, um Fehler bei der Zustellung von Nachrichten zu behandeln.

    Weitere Informationen finden Sie unter Themen für unzustellbare Nachrichten.

12. Sie können die anderen Einstellungen beibehalten und auf Erstellen klicken.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Führen Sie den Befehl gcloud pubsub subscriptions create aus, um ein Cloud Storage-Abo zu erstellen.

   gcloud pubsub subscriptions create SUBSCRIPTION_ID \
       --topic=TOPIC_ID \
       --cloud-storage-bucket=BUCKET_NAME \
       --cloud-storage-file-prefix=CLOUD_STORAGE_FILE_PREFIX \
       --cloud-storage-file-suffix=CLOUD_STORAGE_FILE_SUFFIX \
       --cloud-storage-file-datetime-format=CLOUD_STORAGE_FILE_DATETIME_FORMAT \
       --cloud-storage-max-duration=CLOUD_STORAGE_MAX_DURATION \
       --cloud-storage-max-bytes=CLOUD_STORAGE_MAX_BYTES \
       --cloud-storage-max-messages=CLOUD_STORAGE_MAX_MESSAGES \
       --cloud-storage-output-format=CLOUD_STORAGE_OUTPUT_FORMAT \
       --cloud-storage-write-metadata
       --cloud-storage-use-topic-schema

   Im Befehl sind nur SUBSCRIPTION_ID, das Flag --topic und das Flag --cloud-storage-bucket erforderlich. Die verbleibenden Flags sind optional und können weggelassen werden.

   Ersetzen Sie Folgendes:

   • SUBSCRIPTION_ID: Der Name oder die ID Ihres neuen Cloud Storage-Abos.
   • TOPIC_ID: Der Name oder die ID des Themas.
   • BUCKET_NAME: Gibt den Namen eines vorhandenen Buckets an. Beispiel: prod_bucket. Der Bucket-Name darf keine Projekt-ID enthalten. Informationen zum Erstellen eines Buckets finden Sie unter Buckets erstellen.
   • CLOUD_STORAGE_FILE_PREFIX: Gibt das Präfix für den Cloud Storage-Dateinamen an. Beispiel: log_events_.
   • CLOUD_STORAGE_FILE_SUFFIX: Gibt das Suffix für den Cloud Storage-Dateinamen an. Beispiel: .txt.
   • CLOUD_STORAGE_FILE_DATETIME_FORMAT: Gibt das Datums-/Uhrzeitformat für den Cloud Storage-Dateinamen an. Beispiel: YYYY-MM-DD/hh_mm_ssZ.
   • CLOUD_STORAGE_MAX_DURATION: Die maximale Dauer, die verstreichen kann, bevor eine neue Cloud Storage-Datei erstellt wird. Der Wert muss zwischen 1 m und 10 m liegen. Beispiel: 5m.
   • CLOUD_STORAGE_MAX_BYTES: Die maximale Anzahl von Byte, die in eine Cloud Storage-Datei geschrieben werden können, bevor eine neue Datei erstellt wird. Der Wert muss zwischen 1 KB und 10 GB liegen. Beispiel: 20MB.
   • CLOUD_STORAGE_MAX_MESSAGES: Die maximale Anzahl von Nachrichten, die in eine Cloud Storage-Datei geschrieben werden können, bevor eine neue Datei erstellt wird. Der Wert muss größer oder gleich 1.000 sein. Beispiel: 100000.
   • CLOUD_STORAGE_OUTPUT_FORMAT: Das Ausgabeformat für Daten, die in Cloud Storage geschrieben werden. Werte:
     • text: Nachrichten werden als Rohtext geschrieben und durch einen Zeilenumbruch getrennt.
     • avro: Nachrichten werden als Avro-Binärdatei geschrieben. --cloud-storage-write-metadata und --cloud-storage-use-topic-schema wirken sich nur auf Abos mit dem Ausgabeformat avro aus.

C++

Folgen Sie der Einrichtungsanleitung für C++ in der Kurzanleitung zur Verwendung von Clientbibliotheken, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Pub/Sub C++ API.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Pub/Sub zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::SubscriptionAdminClient client,
   std::string const& project_id, std::string const& topic_id,
   std::string const& subscription_id, std::string const& bucket) {
  google::pubsub::v1::Subscription request;
  request.set_name(
      pubsub::Subscription(project_id, subscription_id).FullName());
  request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
  request.mutable_cloud_storage_config()->set_bucket(bucket);
  auto sub = client.CreateSubscription(request);
  if (!sub) {
    if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
      std::cout << "The subscription already exists\n";
      return;
    }
    throw std::move(sub).status();
  }

  std::cout << "The subscription was successfully created: "
            << sub->DebugString() << "\n";
}

Go

Folgen Sie der Einrichtungsanleitung für Go in der Kurzanleitung zur Verwendung von Clientbibliotheken, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Pub/Sub Go API.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Pub/Sub zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/pubsub"
)

// createCloudStorageSubscription creates a Pub/Sub subscription that exports messages to Cloud Storage.
func createCloudStorageSubscription(w io.Writer, projectID, subID string, topic *pubsub.Topic, bucket string) error {
	// projectID := "my-project-id"
	// subID := "my-sub"
	// topic of type https://godoc.org/cloud.google.com/go/pubsub#Topic
	// note bucket should not have the gs:// prefix
	// bucket := "my-bucket"
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	sub, err := client.CreateSubscription(ctx, subID, pubsub.SubscriptionConfig{
		Topic: topic,
		CloudStorageConfig: pubsub.CloudStorageConfig{
			Bucket:         bucket,
			FilenamePrefix: "log_events_",
			FilenameSuffix: ".avro",
			OutputFormat:   &pubsub.CloudStorageOutputFormatAvroConfig{WriteMetadata: true},
			MaxDuration:    1 * time.Minute,
			MaxBytes:       1e8,
		},
	})
	if err != nil {
		return fmt.Errorf("client.CreateSubscription: %w", err)
	}
	fmt.Fprintf(w, "Created Cloud Storage subscription: %v\n", sub)

	return nil
}

Java

Folgen Sie der Einrichtungsanleitung für Java in der Kurzanleitung zur Verwendung von Clientbibliotheken, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Pub/Sub Java API.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Pub/Sub zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
import com.google.protobuf.Duration;
import com.google.pubsub.v1.CloudStorageConfig;
import com.google.pubsub.v1.ProjectSubscriptionName;
import com.google.pubsub.v1.ProjectTopicName;
import com.google.pubsub.v1.Subscription;
import java.io.IOException;

public class CreateCloudStorageSubscriptionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    String subscriptionId = "your-subscription-id";
    String bucket = "your-bucket";
    String filenamePrefix = "log_events_";
    String filenameSuffix = ".text";
    Duration maxDuration = Duration.newBuilder().setSeconds(300).build();

    createCloudStorageSubscription(
        projectId, topicId, subscriptionId, bucket, filenamePrefix, filenameSuffix, maxDuration);
  }

  public static void createCloudStorageSubscription(
      String projectId,
      String topicId,
      String subscriptionId,
      String bucket,
      String filenamePrefix,
      String filenameSuffix,
      Duration maxDuration)
      throws IOException {
    try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {

      ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
      ProjectSubscriptionName subscriptionName =
          ProjectSubscriptionName.of(projectId, subscriptionId);

      CloudStorageConfig cloudStorageConfig =
          CloudStorageConfig.newBuilder()
              .setBucket(bucket)
              .setFilenamePrefix(filenamePrefix)
              .setFilenameSuffix(filenameSuffix)
              .setMaxDuration(maxDuration)
              .build();

      Subscription subscription =
          subscriptionAdminClient.createSubscription(
              Subscription.newBuilder()
                  .setName(subscriptionName.toString())
                  .setTopic(topicName.toString())
                  .setCloudStorageConfig(cloudStorageConfig)
                  .build());

      System.out.println("Created a CloudStorage subscription: " + subscription.getAllFields());
    }
  }
}

Cloud Storage-Abo überwachen

Cloud Monitoring bietet eine Reihe von Messwerten, mit denen Sie Abos überwachen können.

Eine Liste aller verfügbaren Pub/Sub-Messwerte und ihre Beschreibungen finden Sie in der Monitoring-Dokumentation für Pub/Sub.

Sie können Abos auch in Pub/Sub überwachen.

Nächste Schritte

• Fehlerbehebung bei einem Cloud Storage-Abo

• Weitere Informationen zu Cloud Storage

• Preise für Pub/Sub prüfen, einschließlich Cloud Storage-Abos