Cloud Storage-Abos

Ein Cloud Storage-Abo ist eine Art Exportabo, bei dem empfangene Nachrichten in einen vorhandenen Cloud Storage-Bucket geschrieben werden. Du musst keinen separaten Abonnentenclient konfigurieren. Mit der Google Cloud Console, der Google Cloud CLI, den Clientbibliotheken oder der Pub/Sub API können Sie Cloud Storage-Abos erstellen, aktualisieren, auflisten, trennen oder löschen.

Ohne den Cloud Storage-Abotyp benötigen Sie ein Pull- oder Push-Abo und einen Abonnenten (z. B. Dataflow), der Nachrichten liest und in einen Cloud Storage-Bucket schreibt. Der Aufwand beim Ausführen eines Dataflow-Job ist nicht erforderlich, wenn für Nachrichten nichts erforderlich ist vor dem Speichern in einem Cloud Storage-Bucket zusätzlich verarbeitet werden. können Sie stattdessen ein Cloud Storage-Abo verwenden.

Für Pub/Sub-Systeme, bei denen eine Datentransformation erforderlich ist, bevor die Daten in einem Cloud Storage-Bucket gespeichert werden, wird jedoch weiterhin eine Dataflow-Pipeline empfohlen.

Informationen zum Streamen von Daten mit Dataflow von Pub/Sub nach Cloud Storage und zur Transformation der Daten finden Sie unter Nachrichten mit Dataflow aus Pub/Sub streamen.

Hinweise

Bevor Sie dieses Dokument lesen, sollten Sie sich mit folgenden Themen vertraut machen:

  • Funktionsweise von Pub/Sub und unterschiedlichen Pub/Sub-Begriffen.

  • Welche Arten von Abos gibt es? und die Vorteile eines Cloud Storage-Abos.

  • Funktionsweise von Cloud Storage

Workflow für Cloud Storage-Abos

Die folgende Abbildung zeigt den Workflow zwischen einem Cloud Storage-Abo und Cloud Storage.

Nachrichtenfluss für ein Cloud Storage-Abo

Abbildung 1. Workflow für ein Cloud Storage-Abo

Hier ist eine kurze Beschreibung des Workflows, der auf Abbildung 1 verweist:

  1. Pub/Sub verwendet die Cloud Storage API zum Senden von Daten in den Cloud Storage-Bucket. Nach einem erfolgreichen Schreibvorgang gibt die API eine OK-Antwort zurück.

  2. Die Nachrichten werden in Batches an den Cloud Storage-Bucket gesendet. Ein einzelner Batch entspricht einem Objekt, das im Cloud Storage-Bucket gespeichert ist. Sie können die Batcheinstellungen basierend auf der Objektgröße und der seit der Erstellung des Objekts verstrichenen Zeit konfigurieren.

  3. Für den Workflow zum Schreiben eines Objekts in einen Cloud Storage-Bucket sind zwei OK-Antworten erforderlich. Die erste OK-Antwort wird gesendet, wenn eine Nachricht in ein Objekt geschrieben. Die zweite OK-Antwort wird gesendet, wenn der Objekt, das die Nachricht enthält, abgeschlossen ist. Eine Nachricht wird erst im Bucket angezeigt, nachdem das Cloud Storage-Objekt, das sie enthält, erfolgreich abgeschlossen wurde.

  4. Falls während des Schreibvorgangs Fehler auftreten, Die Pub/Sub-Nachricht selbst wird negativ bestätigt. Die Nachricht wird dann noch einmal gesendet. Wenn der Nachrichtenschreibvorgang oft genug fehlschlägt und Sie für das Abo ein Thema für unzustellbare Nachrichten konfiguriert haben, wird die Nachricht in das Thema für unzustellbare Nachrichten verschoben.

Eigenschaften eines Cloud Storage-Abos

Beim Erstellen eines Cloud Storage-Abos müssen Sie einige zusätzliche Eigenschaften. Zu diesen Properties gehören gängige Abos Eigenschaften, Dateinamen, Formatanforderungen, Speicheranforderungen und mehr. Weitere Informationen zu diesen Properties finden Sie unter Cloud Storage-Abo-Attribute.

Pub/Sub-Dienstkontoberechtigungen

Damit ein Cloud Storage-Abo erstellt werden kann, muss das Pub/Sub-Dienstkonto die Berechtigung zum Schreiben in den entsprechenden Cloud Storage-Bucket und zum Lesen der Bucket-Metadaten haben.

Weitere Informationen finden Sie unter Dem Pub/Sub-Dienstkonto Cloud Storage-Rollen zuweisen.

Umgang mit Nachrichtenfehlern

Wenn eine Pub/Sub-Nachricht nicht in eine Cloud Storage-Bucket haben, kann die Nachricht nicht bestätigt werden. Konfigurieren Sie zum Weiterleiten solcher unzustellbarer Nachrichten eine Thema für unzustellbare Nachrichten im Cloud Storage-Abo.

Wenn Pub/Sub keine Nachrichten in Cloud Storage schreiben kann, verzögert Pub/Sub die Zustellung von Nachrichten ähnlich wie beim Push-Backoff-Verhalten.

Kontingente

Für den Cloud Storage-Abonnentendurchsatz gelten Kontingentbeschränkungen für jede Region. Informationen zu den Kontingenten für Cloud Storage-Abos finden Sie unter Pub/Sub-Kontingente und Limits im Abschnitt zu Exportkontingenten für Abonnenten.

Preise

Informationen zu den Preisen für Cloud Storage-Abos finden Sie auf der Preisseite für Pub/Sub.

Nächste Schritte