Stream erstellen

Übersicht

In diesem Abschnitt erfahren Sie, wie Sie einen Stream erstellen. Datastream verwendet diesen Stream, um Daten aus einer Oracle- oder MySQL-Quelldatenbank in einen Ziel-Bucket in Cloud Storage zu übertragen.

Das Erstellen eines Streams umfasst:

  • Einstellungen für den Stream festlegen.
  • Das Verbindungsprofil auswählen, das Sie für die Oracle- oder MySQL-Quelldatenbank (das Quellverbindungsprofil) erstellt haben, oder ein Quellverbindungsprofil erstellen, wenn Sie noch keines erstellt haben.
  • Informationen zur Quelldatenbank für den Stream konfigurieren, indem Sie die Tabellen und Schemas in der Quelldatenbank angeben, die Datastream:
    • In das Ziel übertragen kann.
    • Nicht in das Ziel übertragen darf.
  • Festlegen, ob Datastream Verlaufsdaten per Backfill auffüllt, laufende Änderungen in das Ziel streamt oder nur Änderungen an den Daten streamt. Bei Aktivierung des Verlaufsdaten-Backfills können Sie optional Schemas und Tabellen in der Quelldatenbank angeben, die Datastream nicht per Backfill im Ziel auffüllen soll.
  • Das Verbindungsprofil auswählen, das Sie für Cloud Storage erstellt haben.
  • Informationen zum Ziel-Bucket für den Stream konfigurieren. Zu diesen Daten gehören:
    • Der Ordner des Ziel-Buckets, in den Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank überträgt.
    • Das Format der in Cloud Storage geschriebenen Dateien.
  • Überprüfung des Streams, um sicherzustellen, dass er erfolgreich ausgeführt wird. Dabei wird Folgendes geprüft:

    • Ob die Quelle ordnungsgemäß konfiguriert ist, damit Datastream Daten von ihr streamen kann.
    • Ob er sowohl mit der Quelle als auch mit dem Ziel verbunden werden kann.

    • Die End-to-End-Konfiguration des Streams.

Einstellungen für den Stream festlegen

  1. Rufen Sie in der Google Cloud Console die Seite Streams auf.

    Zur Seite "Streams"

  2. Klicken Sie auf STREAM ERSTELLEN.

  3. Verwenden Sie die folgende Tabelle, um die Felder im Bereich Streamdetails definieren der Seite Stream erstellen auszufüllen:

    FeldBeschreibung
    Name des StreamsGeben Sie den angezeigten Namen des Streams ein.
    Stream-IDDatastream füllt dieses Feld automatisch basierend auf dem von Ihnen eingegebenen Stream-Namen aus. Sie können die automatisch generierte ID beibehalten oder ändern.
    RegionWählen Sie die Region aus, in der der Stream gespeichert ist. Streams werden wie alle Ressourcen in einer Region gespeichert. Die Regionsauswahl hat keinen Einfluss darauf, ob der Stream eine Verbindung zur Quelldatenbank oder zum Ziel-Bucket in Cloud Storage herstellen kann. Die Auswahl kann jedoch die Verfügbarkeit beeinflussen, wenn in der Region Ausfallzeiten auftreten.
    Quelltyp

    Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für eine Quelldatenbank angegeben haben. Wenn Sie noch kein Verbindungsprofil für die Quelldatenbank erstellt haben, können Sie jetzt eins erstellen.

    Zieltyp

    Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für einen Cloud Storage-Zieldienst angegeben haben. Wenn Sie noch kein Verbindungsprofil für das Ziel erstellt haben, können Sie jetzt eins erstellen.

  4. Optional können Sie Labels verwenden, um Ihre Datastream-Ressourcen zu organisieren.

    1. Zum Erstellen eines Labels klicken Sie auf LABEL HINZUFÜGEN und geben dann das Schlüssel/Wert-Paar für das Label ein.
    2. Zum Entfernen des Labels klicken Sie auf das Papierkorbsymbol rechts neben der Zeile, die das Label enthält.
  5. Prüfen Sie die erforderlichen Voraussetzungen, die automatisch generiert werden, um zu sehen, wie die Umgebung für einen Stream vorbereitet werden muss. Zu diesen Voraussetzungen können beispielsweise die Konfiguration der Quelldatenbank und die Art der Verbindung mit dem Ziel-Bucket in Cloud Storage gehören. Es ist am besten, diese Voraussetzungen in diesem Schritt abzuschließen. Sie können sie aber auch jederzeit abschließen, bevor Sie den Stream testen oder starten. Weitere Informationen zu diesen Voraussetzungen finden Sie unter Oracle-Quelldatenbank konfigurieren.

  6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Quelldatenbanktyp angezeigt.

Informationen zum Quellverbindungsprofil angeben

  1. Wenn Sie ein Quellverbindungsprofil für Oracle oder MySQL erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.

    Wenn Sie noch kein Quellverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.

  2. Klicken Sie auf TESTEN, um zu prüfen, ob die Quelldatenbank und Datastream miteinander kommunizieren können.

    Wenn der Test fehlschlägt, wird das mit dem Verbindungsprofil verknüpfte Problem angezeigt. Nehmen Sie die erforderlichen Änderungen vor, um das Problem zu beheben, und führen Sie den Test noch einmal durch.

  3. Klicken Sie auf WEITER. Der Bereich Stream-Quelle konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zur Quelldatenbank für den Stream konfigurieren

  1. Verwenden Sie im Drop-down-Menü Einzuschließende Objekte auswählen das Drop-down-Menü Aufzunehmende Objekte, um die Tabellen und Schemas in der Quelldatenbank anzugeben, die Datastream in einen Ordner im Ziel-Bucket in Cloud Storage übertragen kann.

    1. Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
    2. Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und klicken Sie die Kästchen für die Schemas und Tabellen an, die von Datastream abgerufen werden sollen.

    3. Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die Datastream übertragen soll, wählen Sie Benutzerdefinierte manuelle Definition und dann im Feld Objektabgleichskriterien aus. Geben Sie die Schemas und Tabellen ein, die Datastream abrufen soll.

  2. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht in den Ordner im Cloud Storage-Ziel-Bucket übertragen soll.

  3. Maximieren Sie optional den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie eine der folgenden Auswahlen:
    1. Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen.

      Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, für die Sie den Backfill von Datastream in das Ziel einschränken möchten.

    2. Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
  4. Klicken Sie auf WEITER. Der Bereich Cloud Storage-Verbindungsprofil definieren der Seite Stream erstellen wird angezeigt.

Zielverbindungsprofil auswählen

  1. Wenn Sie ein Zielverbindungsprofil erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.

    Wenn Sie noch kein Zielverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.

  2. Klicken Sie auf WEITER. Der Bereich Stream-Ziel konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zum Ziel für den Stream konfigurieren

  1. Geben Sie optional in das Feld Stream-Pfadpräfix den Ordner des Ziel-Buckets ein, in den Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank übertragen soll.

    Wenn Sie beispielsweise möchten, dass Datastream Daten aus der Quelldatenbank in den Ordner /root/example im Ziel-Bucket überträgt, geben Sie /root/example in das Feld Stream-Pfadpräfix ein.

  2. Wählen Sie im Feld Ausgabeformat das Format der in Cloud Storage geschriebenen Dateien aus.

  3. Optional. Wenn Sie das JSON-Format auswählen, werden zwei Kästchen angezeigt:

    1. Unified Types-Schemadatei in den Dateipfad einfügen: Wenn Sie dieses Kästchen anklicken, schreibt Datastream zwei Dateien in Cloud Storage: eine JSON-Datendatei und eine Avro-Schemadatei. Die Schemadatei hat denselben Namen wie die Datendatei, aber mit der Erweiterung .schema. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream nur die JSON-Datendatei in Cloud Storage. Standardmäßig ist dieses Kästchen nicht ausgewählt.
    2. gzip-Komprimierung aktivieren: Wenn Sie dieses Kästchen anklicken, verwendet Datastream das Dienstprogramm gzip, um die Dateien zu komprimieren, die Datastream in Cloud Storage schreibt. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream die Dateien ohne Komprimierung in Cloud Storage. Dieses Kästchen ist standardmäßig ausgewählt.
  4. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Stream erstellen

  1. Prüfen Sie die Details des Streams sowie die Quell- und Zielverbindungsprofile, die der Stream zum Übertragen von Daten aus einer Quelldatenbank in einen Ziel-Bucket in Cloud Storage verwenden wird.

  2. Klicken Sie auf VALIDIERUNG AUSFÜHREN, um den Stream zu validieren. Bei der Validierung eines Streams prüft Datastream, ob die Quelle richtig konfiguriert ist, ob der Stream eine Verbindung zur Quelle und zum Ziel herstellen kann und ob die End-to-End-Konfiguration des Streams stimmt.

    1. Wenn Ihre Quelldatenbank Oracle ist, führt Datastream die folgenden Prüfungen durch:

      HäkchenBeschreibung
      Gültigkeit der ObjektlisteDatastream kontrolliert, dass die Ausschlussliste nicht die Einschlussliste umfasst.
      Verbindung für Weiterleitungs-SSH-TunnelDatastream kontrolliert, dass es über einen Weiterleitungs-SSH-Tunnel eine Verbindung zu einem Bastion Host herstellen kann.
      Verbindung zur Oracle-DatenbankDatastream kontrolliert, dass eine Verbindung zur Oracle-Quelldatenbank hergestellt werden kann.
      Oracle-NutzerberechtigungenDatastream kontrolliert, dass der Nutzer, der zum Herstellen einer Verbindung zur Quelldatenbank verwendet wird, alle erforderlichen Berechtigungen zum Abrufen von Schemas, Tabellen und Daten aus der Datenbank hat, damit Datastream diese Informationen in das Ziel streamen kann.
      Konfiguration des Logging-ModusDatastream kontrolliert, dass der Logging-Modus für die Oracle-Datenbank auf ARCHIVELOG gesetzt ist.
      Zusätzliche Logging-KonfigurationDatastream kontrolliert, dass das zusätzliche Logging für die Datenbanktabellen aktiviert ist, die von der Quelle in das Ziel gestreamt werden.
      Konfiguration der ArchivlogdateienDatastream kontrolliert, dass das Archiv-Logging in der Quelle konfiguriert ist und dass Archivlogdateien vorhanden sind.
      Cloud Storage-BerechtigungenDatastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat.
    2. Wenn Ihre Quelldatenbank MySQL ist, führt Datastream die folgenden Prüfungen durch:

      HäkchenBeschreibung
      Gültigkeit der ObjektlisteDatastream kontrolliert, dass die Ausschlussliste nicht die Einschlussliste umfasst.
      Verbindung für Weiterleitungs-SSH-TunnelDatastream kontrolliert, dass es über einen Weiterleitungs-SSH-Tunnel eine Verbindung zu einem Bastion Host herstellen kann.
      Verbindung zur MySQL-DatenbankDatastream kontrolliert, dass es eine Verbindung zur MySQL-Quelldatenbank herstellen kann.
      Binäres Logging aktiviertDatastream kontrolliert, dass die Binärlogdateien ordnungsgemäß konfiguriert sind und dass Logdateien vorhanden sind.
      Konfiguration des BinärlogformatsDatastream kontrolliert, dass das Binärlogformat der MySQL-Datenbank auf ROW gesetzt ist.
      ReplikationsberechtigungenDatastream kontrolliert, dass es berechtigt ist, eine MySQL-Datenbank zu replizieren.
      Cloud Storage-BerechtigungenDatastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat.
  3. Nachdem alle Validierungsprüfungen erfolgreich waren, klicken Sie auf ERSTELLEN UND STARTEN, um den Stream zu erstellen und sofort zu starten, oder auf ERSTELLEN, um den Stream zu erstellen, ohne ihn sofort zu starten.

    Wenn Sie den Stream jetzt nicht starten, können Sie ihn über die Seite Streams starten, indem Sie auf STARTEN klicken.

Nachdem Sie einen Stream erstellt haben, können Sie allgemeine und detaillierte Informationen zu diesem Stream aufrufen.