Änderungen mit optionalem Cloud Function-Trigger an Pub/Sub streamen

---

In dieser Anleitung erfahren Sie, wie Sie die Vorlage Bigtable Change Streams to Pub/Sub verwenden, ein Thema einrichten und die Vorlage konfigurieren. Optional können Sie eine Cloud Functions-Funktion in einer Programmiersprache Ihrer Wahl erstellen, die vom Ereignisstream ausgelöst wird.

Diese Anleitung richtet sich an technische Nutzer , die mit Bigtable, dem Schreiben von Code und Ereignisstreamingdiensten vertraut sind.

Lernziele

In dieser Anleitung erfahren Sie, wie Sie Folgendes tun:

• Erstellen Sie eine Bigtable-Tabelle mit aktiviertem Änderungsstream.
• Ein Pub/Sub-Thema mit dem Bigtable-Änderungsstreamschema erstellen.
• Stellen Sie mithilfe der Vorlage einen Bigtable-Änderungsstream in einer Pub/Sub-Pipeline in Dataflow bereit.
• Ereignisstream direkt in Pub/Sub oder in den Logs einer Cloud Functions-Funktion ansehen.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Bigtable
• Compute Engine
• Dataflow
• Cloud Functions
• Pub/Sub
• cl

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Functions, and Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, Pub/Sub, Cloud Functions, and Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

8. Aktivieren Sie Cloud Shell in der Google Cloud Console.

   Cloud Shell aktivieren

   Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

9. Aktualisieren und installieren Sie die cbt-Befehlszeile.

   gcloud components update
   gcloud components install cbt
   

Pub/Sub-Thema erstellen

1. Rufen Sie in der Google Cloud Console die Pub/Sub-Seite Themen auf.

   Themen aufrufen

2. Klicken Sie auf Thema erstellen.

3. Legen Sie als ID bigtable-change-stream-topic fest.

4. Wählen Sie Schema verwenden aus.

5. Klicken Sie im Drop-down-Menü Pub/Sub-Schema auswählen auf Neues Schema erstellen. Dadurch wird ein neuer Tab geöffnet, auf dem Sie das Schema definieren.

   1. Legen Sie als Schema-ID bigtable-change-stream-schema fest.
   2. Legen Sie den Schematyp auf Avro fest.
   3. Fügen Sie Folgendes als Schemadefinition ein. Weitere Informationen zum Schema finden Sie auf der Dokumentationsseite für Vorlagen.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Klicken Sie auf Erstellen, um das Schema zu erstellen.

6. Schließen Sie den Tab Schema erstellen, aktualisieren Sie die Schemaliste und wählen Sie das neu definierte Schema aus.

7. Klicken Sie auf Erstellen, um das Thema zu erstellen.

Optional: Cloud Functions-Funktion erstellen

Möglicherweise möchten Sie den Pub/Sub-Stream mit einer Cloud Functions-Funktion verarbeiten.

1. Klicken Sie auf der Seite Details für das Thema bigtable-change-stream-topic auf Cloud Functions-Funktion auslösen .
2. Geben Sie im Feld Funktionsname den Namen bt-ps-tutorial-function ein.
3. Klicken Sie im Bereich Quellcode auf das Drop-down-Menü Laufzeit und wählen Sie die gewünschte Laufzeit und Programmiersprache aus. Ein hello world wird generiert, das den Änderungsstream bei Eingang ausgibt. Weitere Informationen zum Schreiben von Cloud Functions-Funktionen finden Sie in der Dokumentation.
4. Verwenden Sie für alle anderen Felder die Standardwerte.
5. Klicken Sie auf Funktion bereitstellen.

Tabelle mit aktiviertem Änderungsstream erstellen

1. Rufen Sie in der Google Cloud Console die Bigtable-Seite Instanzen auf.

   Zur Seite „VM-Instanzen“

2. Klicken Sie auf die ID der Instanz, die Sie für diese Anleitung verwenden.

   Wenn keine Instanz verfügbar ist, erstellen Sie eine Instanz mit den Standardkonfigurationen in einer Region in Ihrer Nähe.

3. Klicken Sie im linken Navigationsbereich auf Sicherungen.

4. Klicken Sie auf Tabelle erstellen.

5. Nennen Sie die Tabelle change-streams-pubsub-tutorial.

6. Fügen Sie eine Spaltenfamilie mit dem Namen cf hinzu.

7. Wählen Sie Änderungsstream aktivieren aus.

8. Klicken Sie auf Erstellen.

Datenpipeline initialisieren, um den Änderungsstream zu erfassen

1. Suchen Sie auf der Bigtable-Seite Tabellen nach der Tabelle change-streams-pubsub-tutorial.
2. Klicken Sie in der Spalte Änderungsstream auf Verbinden.
3. Wählen Sie im Dialogfeld Pub/Sub aus.
4. Klicken Sie auf Dataflow-Job erstellen.
5. Legen Sie auf der Dataflow-Seite Job erstellen den Namen des Pub/Sub-Ausgabethemas auf bigtable-change-stream-topic fest.
6. Legen Sie die Bigtable-Anwendungsprofil-ID auf default fest.
7. Klicken Sie auf Job ausführen.
8. Warten Sie, bis der Jobstatus Wird gestartet oder Wird ausgeführt lautet, bevor Sie fortfahren. Es dauert etwa 5 Minuten, sobald der Job in die Warteschlange gestellt wurde.

Daten in Bigtable schreiben

1. Schreiben Sie in Cloud Shell einige Zeilen in Bigtable, damit das Änderungsprotokoll Daten in den Pub/Sub-Stream schreiben kann. Solange Sie die Daten nach dem Erstellen des Jobs schreiben, werden die Änderungen angezeigt. Sie müssen nicht warten, bis der Jobstatus running wird.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Änderungslogs in Pub/Sub ansehen

1. Rufen Sie in der Google Cloud Console die Pub/Sub-Seite Abos auf.

   Zu den Abos

2. Klicken Sie auf das automatisch erstellte Abo für Ihr Thema bigtable-change-stream-topic. Er sollte bigtable-change-stream-topic-sub heißen.

3. Gehe zum Tab Nachrichten.

4. Klicken Sie auf Pull.

5. Sehen Sie sich die Liste der Nachrichten an und sehen Sie sich die von Ihnen verfassten Daten an.

   

Optional: Änderungen in den Cloud Functions-Logs ansehen

Wenn Sie eine Cloud Functions-Funktion erstellt haben, können Sie die Änderungen in den Logs ansehen.

1. Rufen Sie in der Google Cloud Console Cloud Functions auf.

   Zu Cloud Functions

2. Klicken Sie auf die Funktion bt-ps-tutorial-function.

3. Rufen Sie den Tab Logs auf.

4. Achten Sie darauf, dass der Schweregrad mindestens auf Info festgelegt ist, damit Sie die Logs sehen können.

5. Sehen Sie sich die Logs an und sehen Sie sich die von Ihnen geschriebenen Daten an.

Die Ausgabe sieht dann ungefähr so aus:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Bigtable-Tabelle löschen

1. Rufen Sie in der Google Cloud Console die Bigtable-Seite Instanzen auf.

   Zur Seite „VM-Instanzen“

2. Klicken Sie auf die ID der Instanz, die Sie für diese Anleitung verwenden.

3. Klicken Sie im linken Navigationsbereich auf Sicherungen.

4. Suchen Sie die Tabelle change-streams-pubsub-tutorial.

5. Klicken Sie auf Bearbeiten.

6. Deaktivieren Sie die Option Änderungsstream aktivieren.

7. Klicken Sie auf Speichern.

8. Öffnen Sie das Dreipunkt-Menü der Tabelle.

9. Klicken Sie auf Löschen und geben Sie zur Bestätigung den Tabellennamen ein.

Änderungsstreampipeline anhalten

1. Rufen Sie in der Google Cloud Console die Dataflow-Seite Jobs auf.

   Zu den Jobs

2. Wählen Sie den Streaming-Job aus der Jobliste aus.

3. Klicken Sie im Navigationsbereich auf Beenden.

4. Brechen Sie die Pipeline im Dialogfeld Job anhalten ab und klicken Sie dann auf Job anhalten.

Pub/Sub-Thema und -Abo löschen

1. Rufen Sie in der Google Cloud Console die Pub/Sub-Seite Themen auf.

   Themen aufrufen

2. Wählen Sie das Thema bigtable-change-stream-topic aus.

3. Klicken Sie auf Löschen und bestätigen Sie den Vorgang.

4. Klicken Sie in der Seitenleiste auf Abos.

5. Wählen Sie das Abo bigtable-change-stream-topic-sub aus.

6. Klicken Sie auf Löschen und bestätigen Sie den Vorgang.

Cloud Functions-Funktion löschen

1. Rufen Sie in der Google Cloud Console Cloud Functions auf.

   Zu Cloud Functions

2. Wählen Sie die Funktion bt-ps-tutorial-function aus.

3. Klicken Sie auf Löschen und bestätigen Sie den Vorgang.

Nächste Schritte

• Lesen Sie die Dokumentation zu Änderungsstreams.
• Weitere Informationen zum Schreiben ereignisgesteuerter Funktionen mit Cloud Functions.