Aus einer Pub/Sub-Streamingquelle lesen

Cloud Data Fusion unterstützt Pub/Sub-Quellen in Streaming-Datenpipelines.

Hinweise

Rollen und Berechtigungen

So erhalten Sie die erforderlichen Berechtigungen zum Lesen aus einer Pub/Sub-Streamingquelle: bitten Sie Ihren Administrator, Ihnen Die IAM-Rolle Pub/Sub-Bearbeiter (roles/pubsub.editor) für das Dienstkonto, das für den Zugriff auf das Pub/Sub-Abo verwendet wird. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Sie gewähren die Rolle dem Dienstkonto, das Sie in den Plug-in-Eigenschaften für den Zugriff auf Pub/Sub angegeben haben. Ist kein Wert angegeben, gewähren Sie den Rolle für das Dataproc-Dienstkonto.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Pub/Sub-Quelle zur Streamingdatenpipeline hinzufügen

  1. Rufen Sie die Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Um die Instanz in Cloud Data Fusion Studio zu öffnen, Klicken Sie auf Instanzen und dann auf Instanz ansehen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie in der Cloud Data Fusion-Weboberfläche auf Studio.

  3. Wählen Sie Data Pipeline – Realtime aus.

  4. Wählen Sie im Menü Quelle die Option Pub/Sub aus. In der Pipeline wird ein Pub/Sub-Streaming-Quellknoten angezeigt.

  5. Klicken Sie auf dem Pub/Sub-Knoten auf Attribute, um die Quelle. Weitere Informationen finden Sie unter Pub/Sub-Streamingquelle.

Unterstützung einer einzelnen Pub/Sub-Quelle ohne Windower-Plug-ins

Cloud Data Fusion Version 6.9.1 unterstützt Echtzeitpipelines mit einer einzelnen Pub/Sub-Streamingquelle und ohne Windower-Plug-ins.

  • Die Pub/Sub-Streamingquelle bietet integrierte Unterstützung und die Daten werden mindestens einmal verarbeitet. Das Aktivieren der Spark-Prüfpunktausführung erforderlich.
  • Die Pub/Sub-Streamingquelle erstellt zu Beginn jedes Batches einen Pub/Sub-Snapshot und entfernt ihn am Ende des Batches.
  • Für das Erstellen von Pub/Sub-Snapshots fallen Kosten an. Weitere Informationen finden Sie unter Pub/Sub – Preise
  • Sie können die Snapshot-Erstellung in Cloud-Audit-Logs.

Pipeline mit einer Pub/Sub-Streamingquelle aktualisieren

Cloud Data Fusion unterstützt direkte Anwendungsupgrades. für Streamingpipelines mit einer Pub/Sub-Streamingquelle, die in 6.9.1 oder höher.

Cloud Data Fusion unterstützt keine Upgrades für Datenpipelines mit einem Pub/Sub-Streamingquelle in Version 6.9.0 oder niedriger. Stattdessen diese Pipelines auf 6.9.1 aktualisieren:

  1. Beenden Sie die Veröffentlichung der Daten für das Thema, wenn das Instanzupgrade geplant ist.
  2. Warten Sie, bis die Pipeline die veröffentlichten Daten verarbeitet hat.
  3. Nachdem die Daten vollständig verarbeitet wurden, beenden Sie die Pipeline.
  4. Führen Sie ein Upgrade der Instanz durch.
  5. Duplizieren Sie die vorhandene Pipeline und aktualisieren Sie sie auf die neuesten Plug-ins.
  6. Stellen Sie die Pipeline bereit.

  7. Führen Sie die neue Pipeline aus, um Daten zu lesen.

    Die neue Version verwendet automatisch Snapshots anstelle der Spark-Prüfpunktausführung.

  8. Löschen Sie die alte Pipeline.

Nächste Schritte