In diesem Abschnitt erfahren Sie, wie Sie einen Stream erstellen. Datastream verwendet diesen Stream, um Daten aus einer Oracle-, MySQL-, SQL Server- oder PostgreSQL-Quelldatenbank in BigQuery oder Cloud Storage zu übertragen.
Das Erstellen eines Streams umfasst:
- Einstellungen für den Stream festlegen.
- Wählen Sie das Verbindungsprofil aus, das Sie für die Oracle-, MySQL-, SQL Server- oder PostgreSQL-Quelldatenbank (das Quellverbindungsprofil) erstellt haben, oder erstellen Sie ein Quellverbindungsprofil, falls Sie noch keines erstellt haben.
- Informationen über die Quelldatenbank für den Stream konfigurieren, indem Tabellen und Schemata in der Quelldatenbank angegeben werden, die Datastream:
- In das Ziel übertragen kann.
- Nicht in das Ziel übertragen darf.
Festlegen, ob Datastream Verlaufsdaten per Backfill auffüllt, laufende Änderungen in das Ziel streamt oder nur Änderungen an den Daten streamt. Bei Aktivierung des Verlaufsdaten-Backfills können Sie optional Schemas und Tabellen in der Quelldatenbank angeben, die Datastream nicht per Backfill im Ziel auffüllen soll.
Wählen Sie das Verbindungsprofil aus, das Sie für BigQuery oder Cloud Storage (das Zielverbindungsprofil) erstellt haben, oder erstellen Sie ein Zielverbindungsprofil, falls Sie noch keines erstellt haben.
Informationen zum Ziel für den Stream konfigurieren. Zu diesen Daten gehören:
- Für BigQuery:
- Die Datasets, in die Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank repliziert.
- Für Cloud Storage:
- Der Ordner des Ziel-Buckets, in den Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank überträgt.
- Für BigQuery:
Überprüfung des Streams, um sicherzustellen, dass er erfolgreich ausgeführt wird. Dabei wird Folgendes geprüft:
- Ob die Quelle ordnungsgemäß konfiguriert ist, damit Datastream Daten von ihr streamen kann.
- Ob er sowohl mit der Quelle als auch mit dem Ziel verbunden werden kann.
- Die End-to-End-Konfiguration des Streams.
Einstellungen für den Stream festlegen
Rufen Sie in der Google Cloud Console die Seite Streams auf.
Klicken Sie auf STREAM ERSTELLEN.
Verwenden Sie die folgende Tabelle, um die Felder im Bereich Streamdetails definieren der Seite Stream erstellen auszufüllen:
Feld Beschreibung Name des Streams Geben Sie den Anzeigenamen des Streams ein. Stream-ID Datastream füllt dieses Feld automatisch basierend auf dem von Ihnen eingegebenen Stream-Namen aus. Sie können die automatisch generierte ID beibehalten oder ändern. Region Wählen Sie die Region aus, in der der Stream gespeichert ist. Streams werden wie alle Ressourcen in einer Region gespeichert. Die Regionsauswahl hat keinen Einfluss darauf, ob der Stream eine Verbindung zur Quelldatenbank oder zum Ziel herstellen kann. Die Auswahl kann jedoch die Verfügbarkeit beeinflussen, wenn in der Region Ausfallzeiten auftreten. Wir empfehlen, alle Ressourcen für den Stream in derselben Region wie Ihre Quelldaten zu platzieren, um Kosten und Leistung zu optimieren. Quelltyp Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für eine Oracle-, MySQL-, SQL Server- oder PostgreSQL-Datenbank angegeben haben. Wenn Sie noch kein Verbindungsprofil für die Quelldatenbank erstellt haben, können Sie jetzt eins erstellen.
Zieltyp Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für ein BigQuery- oder Cloud Storage-Ziel angegeben haben. Wenn Sie noch kein Verbindungsprofil für das Ziel erstellt haben, können Sie jetzt eins erstellen. Verschlüsselung Standardmäßig werden Ihre Daten mit einem von Google Cloudverwalteten Schlüssel verschlüsselt. Wenn Sie die Verschlüsselung selbst verwalten möchten, können Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden:
- Klicken Sie das Kästchen Cloud KMS-Schlüssel an.
- Wählen Sie im Drop-down-Menü Schlüsseltyp die Option Cloud KMS und dann den CMEK aus.
Wenn Sie Ihren Schlüssel nicht sehen, klicken Sie auf ENTER KEY RESOURCE NAME (RESSOURCENNAME DES SCHLÜSSELS EINGEBEN), um den Ressourcennamen des Schlüssels anzugeben, den Sie verwenden möchten. Sie können beispielsweise
projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key
in das Feld Name der Hauptressource eingeben und dann auf SPEICHERN klicken.Optional können Sie Labels verwenden, um Ihre Datastream-Ressourcen zu organisieren.
- Zum Erstellen eines Labels klicken Sie auf LABEL HINZUFÜGEN und geben dann das Schlüssel/Wert-Paar für das Label ein.
- Zum Entfernen des Labels klicken Sie auf das Papierkorbsymbol rechts neben der Zeile, die das Label enthält.
Optional kannst du Benachrichtigungsrichtlinien für deinen Stream hinzufügen. Mit Benachrichtigungsrichtlinien legen Sie fest, wann und wie Sie über Streamausfälle benachrichtigt werden möchten.
- Klicken Sie auf Benachrichtigungsrichtlinie hinzufügen, um eine Benachrichtigungsrichtlinie zu erstellen.
- Die Seite Benachrichtigungsrichtlinie erstellen wird in Cloud Monitoring angezeigt. Auf dieser Seite legen Sie die Benachrichtigungsrichtlinie für den Fall fest, dass der Stream fehlschlägt.
Weitere Informationen zu Benachrichtigungsrichtlinien finden Sie unter Messwertbasierte Benachrichtigungsrichtlinien verwalten.
Prüfen Sie die erforderlichen Voraussetzungen, die automatisch generiert werden, um zu sehen, wie die Umgebung für einen Stream vorbereitet werden muss. Zu diesen Voraussetzungen können beispielsweise die Konfiguration der Quelldatenbank und die Art der Verbindung mit dem Ziel gehören. Es ist am besten, diese Voraussetzungen in diesem Schritt abzuschließen. Sie können sie aber auch jederzeit abschließen, bevor Sie den Stream testen oder starten. Weitere Informationen zu diesen Voraussetzungen finden Sie unter Quellen.
Tippen Sie auf Weiter. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Quelldatenbanktyp angezeigt.
Informationen zum Quellverbindungsprofil angeben
Wenn Sie ein Quellverbindungsprofil für Oracle, MySQL, SQL Server oder PostgreSQL erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.
Wenn Sie noch kein Quellverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.
Klicken Sie auf TESTEN, um zu prüfen, ob die Quelldatenbank und Datastream miteinander kommunizieren können.
Wenn der Test fehlschlägt, wird das mit dem Verbindungsprofil verknüpfte Problem angezeigt. Informationen zur Fehlerbehebung finden Sie auf der Seite Probleme diagnostizieren. Nehmen Sie die erforderlichen Änderungen vor, um das Problem zu beheben, und führen Sie den Test noch einmal durch.
Klicken Sie auf WEITER. Der Bereich Stream-Quelle konfigurieren der Seite Stream erstellen wird angezeigt.
Informationen zur Quelldatenbank für den Stream konfigurieren
PostgreSQL-Quelldatenbank konfigurieren
Wenn Sie PostgreSQL als Quelldatenbank ausgewählt haben, müssen Sie die Replikationseigenschaften definieren.
- Geben Sie im Abschnitt Replikationseigenschaften die folgenden Eigenschaften an:
- Geben Sie im Feld Name des Replikationsslots den Namen des Slots ein, den Sie speziell für diesen Stream erstellt haben. Der Datenbankserver verwendet diesen Slot, um Ereignisse an Datastream zu senden.
- Geben Sie im Feld Name der Publikation den Namen der Publikation ein, die Sie in der Datenbank erstellt haben. Eine Publikation ist eine Gruppe aller Tabellen, für die Sie Änderungen mithilfe dieses Streams replizieren möchten.
- Führen Sie die Schritte im Abschnitt Quelldatenbanken konfigurieren aus.
Quelldatenbanken konfigurieren
Verwenden Sie im Abschnitt Einzuschließende Objekte auswählen das Drop-down-Menü Einzuschließende Objekte, um die Tabellen und Schemas in der Quelldatenbank anzugeben, die Datastream in das Ziel übertragen kann.
- Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und klicken Sie die Kästchen für die Schemas und Tabellen an, die von Datastream abgerufen werden sollen.
Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die Datastream übertragen soll, wählen Sie Benutzerdefiniert und dann im Feld Objektabgleichskriterien aus. Geben Sie die Schemas und Tabellen ein, die Datastream abrufen soll.
Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.
Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
Geben Sie je nach ausgewählter Quelle die CDC-Methode für Ihren Stream an:
- Für SQL Server-Quellen:
- Transaktionslogs: Wählen Sie diese Methode aus, um Änderungen direkt aus den Datenbank-Logs zu verarbeiten. Diese Methode bietet die beste Leistung und ist effizienter, erfordert aber zusätzliche Konfigurationsschritte.
- Änderungstabellen: Wählen Sie diese Methode aus, um Änderungen aus speziellen Änderungstabellen zu verarbeiten. Diese Methode ist einfacher zu konfigurieren und hat weniger Einschränkungen, unterstützt aber einen geringeren Durchsatz und erzeugt eine höhere Auslastung Ihrer Datenbank als die Methode mit Transaktionsprotokollen. Weitere Informationen zum Konfigurieren der SQL Server-Quelldatenbank finden Sie unter SQL Server-Quelldatenbank konfigurieren.
- Für MySQL-Quellen:
- GTID-basierte Replikation (Global Transaction IDs) (Vorabversion): Wählen Sie diese Methode aus, wenn Datastream Failover unterstützen und unabhängig von den Änderungen in Ihrem Datenbankcluster eine nahtlose Replikation bereitstellen soll.
- Binlog-basierte Replikation: Wählen Sie diese Methode aus, um Änderungen direkt aus den Binärprotokolldateien einer ausgewählten Datenbankinstanz zu lesen und zu replizieren. Mit dieser CDC-Methode können Sie einen laufenden Stream nicht zu einer anderen Quellinstanz oder einem anderen Replikat wechseln.
- Für Oracle-Quellen:
- LogMiner: Wählen Sie diese Methode aus, um archivierte Redo-Logs mit der LogMiner API abzufragen. LogMiner unterstützt die meisten für Oracle verfügbaren Optionen, z. B. Verschlüsselungs- und Komprimierungsoptionen.
- Binärleser (Vorabversion): Wählen Sie diese Methode aus, um Änderungen direkt aus Oracle-Logs zu extrahieren. Dies ermöglicht eine schnellere Replikation großer Oracle-Datenbanken sowie eine geringere Latenz und einen geringeren Overhead. Wenn Sie diese Option auswählen, wird ein zusätzliches Drop-down-Menü angezeigt. Wählen Sie aus, wie Sie auf Ihre Oracle-Logdateien zugreifen möchten:
- Automatic Storage Management (ASM): Wählen Sie diese Option aus, wenn Ihre Datenbank ASM verwendet. Achten Sie darauf, dass Sie das Kästchen ASM-Zugriff für Binary Reader aktivieren angeklickt und die Details Ihrer ASM-Instanz in Ihrem Quellverbindungsprofil ausgefüllt haben.
- Datenbankverzeichnisse: Wählen Sie diese Option aus, wenn Sie ASM nicht zum Speichern Ihrer Protokolldateien verwenden. Wenn Sie Datenbankverzeichnisse auswählen, müssen Sie die Namen der Verzeichnisse für Redo-Logs und archivierte Logs angeben.
- Für SQL Server-Quellen:
Maximieren Sie optional den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie eine der folgenden Auswahlen:
Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, für die Sie den Backfill von Datastream in das Ziel einschränken möchten.
Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
Tippen Sie auf Weiter. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.
Zielverbindungsprofil auswählen
Wenn Sie ein Zielverbindungsprofil erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.
Wenn Sie noch kein Zielverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.
Klicken Sie auf WEITER. Der Bereich Stream-Ziel konfigurieren der Seite Stream erstellen wird angezeigt.
Informationen zum Ziel für den Stream konfigurieren
In diesem Abschnitt wird beschrieben, welche Informationen Sie zum Konfigurieren des BigQuery- oder Cloud Storage-Ziels angeben müssen.
BigQuery-Ziel
Wählen Sie im Abschnitt Festlegen, wie Datastream in ein BigQuery-Dataset streamen soll im Drop-down-Menü Schema-Gruppierung eine der folgenden Optionen aus:
Dataset für jedes Schema: Datastream erstellt für jedes Quellschema ein BigQuery-Dataset, das auf dem Schemanamen basiert.
Wenn Sie diese Option auswählen, erstellt Datastream für jedes Schema in der Quelldatenbank ein Dataset im Projekt, das den Stream enthält.
Wenn Sie die Option Dataset für jedes Schema auswählen, müssen Sie außerdem Folgendes angeben:
- Geben Sie im Bereich Speicherort an, wo Sie Ihre Daten in BigQuery speichern möchten. Wählen Sie Region aus, um einen einzelnen geografischen Standort anzugeben, oder Mehrere Regionen, um ein größeres Gebiet mit zwei oder mehr Regionen anzugeben. Wenn Sie Kosten und Leistung optimieren möchten, wählen Sie Region aus und belassen Sie Ihre Datensätze zusammen mit anderen Google Cloud Ressourcen, die Sie verwalten. Wenn Sie höhere Kontingentlimits erreichen möchten, wählen Sie Multiregion aus, damit BigQuery mehrere Regionen innerhalb einer Gruppe verwenden kann. Wenn Sie Region auswählen, wird im Feld standardmäßig die Region angezeigt, die Sie für den Stream ausgewählt haben.
- Optional: Geben Sie im Feld Dataset-Präfix ein Präfix für das vom Stream erstellte Dataset an. Der von Ihnen angegebene String wird dem Namen des Quellschemas hinzugefügt. Wenn das Schema beispielsweise
<mySchema>
heißt und Sie das Dataset-Präfix als<myPrefix>
definieren, wird in Datastream ein Dataset mit dem Namen<myPrefix><mySchema>
erstellt. - Maximieren Sie den Bereich Erweiterte Verschlüsselungsoptionen anzeigen.
- Legen Sie fest, wie Ihre Daten in BigQuery verschlüsselt werden sollen, indem Sie einen von Google verwalteten oder vom Kunden verwalteten Verschlüsselungsschlüssel auswählen.
Ein einzelnes Dataset für alle Schemas: Datastream erstellt alle Tabellen im von Ihnen angegebenen BigQuery-Dataset. Jede von Datastream erstellte Tabelle wird mit einer Kombination aus dem Namen des Quellschemas und dem Tabellennamen benannt, die durch einen Unterstrich getrennt sind (z. B.
). Die verfügbaren Datensätze sind nach Region gruppiert. Sie können auch einen neuen Datensatz erstellen.<mySchemaName>_<myTableName>
Geben Sie den Streamschreibmodus an. Wählen Sie den Schreibmodus aus, um zu definieren, wie Daten in BigQuery geschrieben und verarbeitet werden:
- Zusammenführen: Wählen Sie diese Option aus, wenn Ihre Daten mit der Quelle synchronisiert werden sollen.
- Nur anhängen: Wählen Sie diese Option aus, wenn Sie alle Verlaufsdaten für Ihre Änderungsereignisse beibehalten möchten.
Geben Sie das Limit für veraltete Daten an. Nur verfügbar, wenn im vorherigen Schritt der Modus Merge (Zusammenführen) ausgewählt ist. Wählen Sie ein Limit aus, um ein Gleichgewicht zwischen Leistung und Kosten von BigQuery-Abfragen und der Datenaktualität herzustellen. Je nach Limit für die Veralterung wendet BigQuery die Änderungen laufend im Hintergrund oder bei der Abfrageausführung an. Ein geringerer Wert (jüngere Daten) kann die BigQuery-Verarbeitungskosten erhöhen.
Tippen Sie auf Weiter. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.
Cloud Storage-Ziel
Geben Sie optional in das Feld Stream-Pfadpräfix den Ordner des Ziel-Buckets ein, in den Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank übertragen soll.
Wenn Sie beispielsweise möchten, dass Datastream Daten aus der Quelldatenbank in den Ordner
/root/example
im Ziel-Bucket überträgt, geben Sie/root/example
in das Feld Stream-Pfadpräfix ein.Wählen Sie im Feld Ausgabeformat das Format der in Cloud Storage geschriebenen Dateien aus.
Optional. Wenn Sie das JSON-Format auswählen, werden zwei Kästchen angezeigt:
- Unified Types-Schemadatei in den Dateipfad einfügen: Wenn Sie dieses Kästchen anklicken, schreibt Datastream zwei Dateien in Cloud Storage: eine JSON-Datendatei und eine Avro-Schemadatei. Die Schemadatei hat denselben Namen wie die Datendatei, aber mit der Erweiterung
.schema
. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream nur die JSON-Datendatei in Cloud Storage. Standardmäßig ist dieses Kästchen nicht angeklickt. - Gzip-Komprimierung aktivieren: Wenn Sie dieses Kästchen anklicken, verwendet Datastream das Dienstprogramm
gzip
, um die Dateien zu komprimieren, die Datastream in Cloud Storage schreibt. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream die Dateien ohne Komprimierung in Cloud Storage. Dieses Kästchen ist standardmäßig ausgewählt.
- Unified Types-Schemadatei in den Dateipfad einfügen: Wenn Sie dieses Kästchen anklicken, schreibt Datastream zwei Dateien in Cloud Storage: eine JSON-Datendatei und eine Avro-Schemadatei. Die Schemadatei hat denselben Namen wie die Datendatei, aber mit der Erweiterung
Tippen Sie auf Weiter. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.
Stream erstellen
- Prüfen Sie die Details des Streams sowie die Quell- und Zielverbindungsprofile, die der Stream zum Übertragen von Daten aus einer Quelldatenbank in ein Ziel verwenden wird.
Klicken Sie auf VALIDIERUNG AUSFÜHREN, um den Stream zu validieren. Bei der Validierung eines Streams prüft Datastream, ob die Quelle richtig konfiguriert ist, ob der Stream eine Verbindung zur Quelle und zum Ziel herstellen kann und ob die End-to-End-Konfiguration des Streams stimmt.
Wenn Ihre Quelldatenbank Oracle ist, führt Datastream die folgenden Prüfungen durch:
Häkchen Beschreibung Gültigkeit der Objektliste Datastream kontrolliert, dass die Ausschlussliste nicht die Einschlussliste umfasst. Verbindung für Weiterleitungs-SSH-Tunnel Datastream kontrolliert, dass es über einen Weiterleitungs-SSH-Tunnel eine Verbindung zu einem Bastion Host herstellen kann. Verbindung zur Oracle-Datenbank Datastream kontrolliert, dass eine Verbindung zur Oracle-Quelldatenbank hergestellt werden kann. Oracle-Nutzerberechtigungen Datastream kontrolliert, dass der Nutzer, der zum Herstellen einer Verbindung zur Quelldatenbank verwendet wird, alle erforderlichen Berechtigungen zum Abrufen von Schemas, Tabellen und Daten aus der Datenbank hat, damit Datastream diese Informationen in das Ziel streamen kann. Konfiguration des Logging-Modus Datastream kontrolliert, dass der Logging-Modus für die Oracle-Datenbank auf ARCHIVELOG gesetzt ist. Zusätzliche Logging-Konfiguration Datastream kontrolliert, dass das zusätzliche Logging für die Datenbanktabellen aktiviert ist, die von der Quelle in das Ziel gestreamt werden. Oracle-CDC-Konfiguration Datastream prüft, ob die von Ihnen ausgewählte CDC-Methode Ihrer Datenbankkonfiguration entspricht. Konfiguration der Archivlogdateien Datastream kontrolliert, dass das Archiv-Logging in der Quelle konfiguriert ist und dass Archivlogdateien vorhanden sind. Cloud Storage-Berechtigungen (für Cloud Storage-Ziele) Datastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat. Wenn Ihre Quelldatenbank MySQL ist, führt Datastream die folgenden Prüfungen durch:
Häkchen Beschreibung Replikationsberechtigungen Datastream kontrolliert, dass es berechtigt ist, eine MySQL-Datenbank zu replizieren. Datenbankversion Datastream prüft, ob die MySQL-Datenbankversion unterstützt wird. Informationen zu unterstützten Versionen finden Sie unter Versionen. Konfiguration des Binärlogformats Datastream kontrolliert, dass das Binärlogformat der MySQL-Datenbank auf ROW
gesetzt ist.Binäres Logging aktiviert Datastream kontrolliert, dass die Binärlogdateien ordnungsgemäß konfiguriert sind und dass Logdateien vorhanden sind. Konfiguration des Binärlogzeilen-Images Datastream prüft, ob das Binärlogzeilen-Image auf FULL
gesetzt ist.Binlog-Komprimierung deaktiviert Datastream prüft, ob die Binlog-Komprimierung deaktiviert ist. Protokollierung von Replik- oder Slave-Aktualisierungen aktiviert Datastream prüft, ob die Log-Replik- oder Slave-Updates aktiviert sind. Konfiguration des GTID-Modus ( applies only to GTID-based CDC
)Datastream prüft, ob der GTID-Modus auf ON
gesetzt ist, wenn eine GTID-basierte Replikation verwendet wird.GtidSet enthält keine getaggten GTIDs ( applies only to GTID-based CDC
)Datastream prüft, ob der GTID-Satz keine getaggten GTIDs enthält. Cloud Storage-Berechtigungen (für Cloud Storage-Ziele) Datastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat. Warnungen prüfen Beschreibung Konfiguration „Expire logs days“, „Expire logs seconds“ oder „Binlog retention hours“ In Datastream wird geprüft, ob expire_logs_days
,binlog_expire_logs_seconds
undbinlog retention hours
auf Werte konfiguriert sind, die jeweils größer als7
,604800
und168
sind.Maximal zulässige Paketkonfiguration Datastream prüft, ob max_allowed_packet
auf 1 GB gesetzt ist.GTID-Konsistenz erzwingen oder GTID-Strenger Modus ( applies only to GTID-based CDC
)Datastream prüft, ob die GTID-Konsistenz oder der strikte GTID-Modus aktiviert ist. Wenn Ihre Quelldatenbank PostgreSQL ist, führt Datastream die folgenden Prüfungen durch:
Häkchen Beschreibung Verbindung zur PostgreSQL-Datenbank Datastream kontrolliert, dass es eine Verbindung zur PostgreSQL-Quelldatenbank herstellen kann. Logische Decodierung ist aktiviert Datastream prüft, ob der Parameter wal_level
der PostgreSQL-Datenbank auflogical
festgelegt ist.Konfiguration des Replikationsslots Datastream prüft, ob der PostgreSQL-Replikationsslot vorhanden und aktiv ist, ob Datastream die erforderlichen Berechtigungen für den Zugriff darauf hat und ob er richtig konfiguriert ist. Publikationskonfiguration Datastream prüft, ob die Publikation vorhanden ist und ob die Tabellen, die für den Stream repliziert werden sollen, in der Publikation enthalten sind. Backfill-Berechtigungen Datastream prüft, ob die Tabellen vorhanden sind, die für das Backfill von Verlaufsdaten erforderlich sind, und ob es die erforderlichen Berechtigungen zum Lesen dieser Tabellen hat. Wenn Ihre Quelldatenbank SQL Server ist, führt Datastream die folgenden Prüfungen durch:
Häkchen Beschreibung SQL Server-Edition Datastream prüft, ob die SQL Server-Quelldatenbankversion unterstützt wird. Informationen zu unterstützten Versionen finden Sie unter Versionen. SQL Server-Nutzerberechtigungen Datastream prüft, ob der Nutzer die erforderlichen Berechtigungen für den Zugriff auf die SQL-Server-Quelldatenbank hat. SQL Server-CDC ist aktiviert Datastream prüft, ob CDC für die Datenbank und alle im Stream enthaltenen Tabellen aktiviert ist. SQL Server-Datenbankvalidierungen Datastream prüft, ob die Quelldatenbank richtig konfiguriert ist, ob alle Replikationsanforderungen erfüllt sind und ob in den Spalten keine nicht unterstützten Datentypen vorhanden sind. Cloud Storage- oder BigQuery-Berechtigungen Datastream prüft, ob der Nutzer die erforderlichen Berechtigungen zum Schreiben an das Ziel hat.
Nachdem alle Validierungsprüfungen erfolgreich waren, klicken Sie auf ERSTELLEN UND STARTEN, um den Stream zu erstellen und sofort zu starten, oder auf ERSTELLEN, um den Stream zu erstellen, ohne ihn sofort zu starten.
Wenn Sie den Stream jetzt nicht starten, können Sie ihn über die Seite Streams starten, indem Sie auf STARTEN klicken.
Nachdem Sie einen Stream erstellt haben, können Sie allgemeine und detaillierte Informationen zu diesem Stream aufrufen.
Nächste Schritte
- Weitere Informationen zu Streams finden Sie unter Stream-Lebenszyklus.
- Informationen zum Ausführen eines Streams finden Sie unter Stream ausführen.
- Informationen zum Ändern von Streams finden Sie unter Stream ändern.
- Informationen zum Wiederherstellen eines Streams finden Sie unter Streams wiederherstellen.