Mit Datastream Datenänderungen nahezu in Echtzeit streamen

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  6. Enable the Datastream API.

    Enable the API

  7. Achten Sie darauf, dass Ihrem Nutzerkonto die Rolle „Datastream-Administrator“ zugewiesen ist.

    Zur IAM-Seite

Wenn Sie eine Konfiguration für private Verbindungen für ein Standard- oder freigegebenes VPC-Netzwerk erstellen möchten, müssen Sie zusätzliche Voraussetzungen erfüllen. Weitere Informationen finden Sie unter Konfiguration für private Verbindungen erstellen.

Voraussetzungen

Datastream bietet eine Vielzahl von Quelloptionen, Zieloptionen und Netzwerkverbindungsmethoden.

In dieser Kurzanleitung gehen wir davon aus, dass Sie eine eigenständige Oracle -Datenbank und einen Cloud Storage-Zieldienst verwenden. Für die Quelldatenbank sollten Sie Ihr Netzwerk so konfigurieren können, dass eine eingehende Firewallregel hinzugefügt wird. Die Quelldatenbank kann lokal oder bei einem Cloudanbieter bereitgestellt werden. Da das Ziel Cloud Storage ist, sollte es beim Cloud-Anbieter von Google liegen.

Da wir die Besonderheiten Ihrer Umgebung nicht kennen, können wir keine detaillierten Schritte in Bezug auf Ihre Netzwerkkonfiguration anbieten.

Für diese Kurzanleitung wählen Sie IP-Zulassungsliste als Verbindungsmethode aus. IP-Zulassungslisten sind eine Sicherheitsfunktion, mit der der Zugriff auf die Daten in Ihrer Quelldatenbank häufig auf vertrauenswürdige Nutzer beschränkt und gesteuert wird. Sie können IP-Zulassungslisten verwenden, um Listen mit vertrauenswürdigen IP-Adressen oder IP-Bereichen zu erstellen, von denen Ihre Nutzer und andere Cloud-Dienste wie Datastream auf diese Daten zugreifen können. Damit Sie IP-Zulassungslisten verwenden können, müssen Sie die Quelldatenbank oder Firewall für eingehende Verbindungen von Datastream öffnen.

Verbindungsprofile erstellen

Wenn Sie Verbindungsprofile für eine Quelldatenbank und ein Ziel erstellen, erstellen Sie Einträge, die Informationen über die Quelle und das Ziel enthalten.

In dieser Kurzanleitung wählen Sie Oracle als Profiltyp für Ihr Quellverbindungsprofil und Cloud Storage als Profiltyp für Ihr Zielverbindungsprofil aus. Datastream verwendet die Informationen in den Verbindungsprofilen, um Daten aus der Oracle-Quelldatenbank in einen Ziel-Bucket in Cloud Storage zu migrieren.

Quellverbindungsprofil für Oracle-Datenbank erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Verbindungsprofile für Datastream auf.

    Zur Seite „Verbindungsprofile“

  2. Klicken Sie auf PROFIL ERSTELLEN.

  3. Klicken Sie auf der Seite Verbindungsprofil erstellen auf den Profiltyp Oracle, da Sie ein Quellverbindungsprofil für die Oracle-Datenbank erstellen möchten.

  4. Geben Sie auf der Seite Oracle-Profil erstellen im Abschnitt Verbindungseinstellungen definieren die folgenden Informationen an:

    • Geben Sie My Source Connection Profile als Verbindungsprofilname für Ihre Quelldatenbank ein.
    • Behalten Sie die automatisch generierte Verbindungsprofil-ID bei.
    • Wählen Sie die Region aus, in der das Verbindungsprofil gespeichert werden soll.

    • Geben Sie Verbindungsdetails ein:

      • Geben Sie im Feld Hostname oder IP-Adresse einen Hostnamen oder eine öffentliche IP-Adresse ein, mit dem Datastream eine Verbindung zur Oracle-Quelldatenbank herstellen kann. Sie stellen eine öffentliche IP-Adresse bereit, da die IP-Zulassungsliste als Methode zur Netzwerkverbindung für diese Kurzanleitung verwendet wird.
      • Geben Sie in das Feld Port die Portnummer ein, die für die Quelldatenbank reserviert ist. Bei einer Oracle-Datenbank ist der Standardport normalerweise 1521.
      • Geben Sie einen Nutzernamen und ein Passwort ein, um sich bei Ihrer Quelldatenbank zu authentifizieren.
      • Geben Sie im Feld Systemkennung (SID) den SID- oder Dienstnamen ein, der die Datenbankinstanz identifiziert. Bei Oracle-Datenbanken ist dies in der Regel ORCL.
  5. Klicken Sie im Abschnitt Verbindungseinstellungen definieren auf WEITER. Der Abschnitt Verbindungsmethode festlegen auf der Seite Oracle-Profil erstellen ist aktiv.

  6. Wählen Sie die Netzwerkmethode aus, mit der Sie eine Verbindung zwischen Datastream und der Quelldatenbank herstellen möchten. Wählen Sie für diese Kurzanleitung im Drop-down-Menü Verbindungsmethode die Option IP-Zulassungsliste als Netzwerkmethode aus.

  7. Konfigurieren Sie die Quelldatenbank so, dass eingehende Verbindungen von den öffentlichen Datastream-IP-Adressen zugelassen werden.

  8. Klicken Sie im Abschnitt Konnektivitätsmethode definieren auf WEITER. Der Abschnitt Verbindungsprofil testen auf der Seite Oracle-Profil erstellen ist aktiv.

  9. Klicken Sie auf TESTEN, um zu prüfen, ob die Oracle-Quelldatenbank und der Datenstrom miteinander kommunizieren können.

  10. Überprüfen Sie, ob der Status "Test bestanden" angezeigt wird.

  11. Wenn der Test fehlschlägt, können Sie das Problem an der entsprechenden Stelle des Ablaufs beheben und dann zum erneuten Test zurückkehren. Weitere Informationen zur Fehlerbehebung finden Sie auf der Seite Probleme diagnostizieren.

  12. Klicken Sie auf ERSTELLEN.

Zielverbindungsprofil für Cloud Storage erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Verbindungsprofile für Datastream auf.

    Zur Seite „Verbindungsprofile“

  2. Klicken Sie auf PROFIL ERSTELLEN.

  3. Klicken Sie auf der Seite Verbindungsprofil erstellen auf den Profiltyp Cloud Storage, da Sie ein Zielverbindungsprofil für Cloud Storage erstellen möchten.

  4. Geben Sie auf der Seite Cloud Storage-Profil erstellen die folgenden Informationen an:

    • Geben Sie My Destination Connection Profile als Verbindungsprofilname für Ihren Cloud Storage-Zieldienst ein.
    • Behalten Sie die automatisch generierte Verbindungsprofil-ID bei.
    • Wählen Sie die Region aus, in der das Verbindungsprofil gespeichert werden soll.
    • Klicken Sie im Bereich Verbindungsdetails auf DURCHSUCHEN.
    • Wählen Sie im Bereich Bucket auswählen den Ziel-Bucket in Cloud Storage aus, in den Datastream Daten aus der Quelldatenbank übertragen soll, und klicken Sie dann auf Auswählen.

      Ihr Bucket wird im Feld Bucket-Name der Seite Cloud Storage-Profil erstellen angezeigt.

    • Optional können Sie im Feld Pfadpfad des Verbindungsprofils ein Präfix für den Pfad angeben, der an den Bucket-Namen angehängt wird, wenn Datenstrom an das Ziel übertragen.

  5. Klicken Sie auf ERSTELLEN.

Nachdem Sie ein Quellverbindungsprofil für die Oracle-Datenbank und ein Zielverbindungsprofil für Cloud Storage erstellt haben, können Sie damit einen Stream erstellen.

Stream erstellen

In diesem Abschnitt erstellen Sie einen Stream. Datastream verwendet diesen Stream, um Daten aus einer Oracle-Quelldatenbank in einen Ziel-Bucket in Cloud Storage zu übertragen.

Das Erstellen eines Streams umfasst:

  • Einstellungen für den Stream festlegen.
  • Das Verbindungsprofil auswählen, das Sie für Ihre Quelldatenbank erstellt haben (das Quellverbindungsprofil). In dieser Kurzanleitung ist das Mein Quellverbindungsprofil.
  • Informationen über die Quelldatenbank für den Stream konfigurieren, indem Tabellen und Schemata in der Quelldatenbank angegeben werden, die Datastream:
    • In das Ziel übertragen kann.
    • Nicht in das Ziel übertragen darf.
  • Festlegen, ob Datastream Verlaufsdaten per Backfill abgleicht, laufende Änderungen in das Ziel streamt oder nur Änderungen an den Daten streamt.
  • Das Verbindungsprofils auswählen, das Sie für Cloud Storage erstellt haben (das Ziel-Verbindungsprofil). In dieser Kurzanleitung ist das Mein Zielverbindungsprofil.
  • Informationen zum Ziel-Bucket für den Stream konfigurieren. Zu diesen Daten gehören:
    • Der Ordner des Ziel-Buckets, in den Datastream Schemas, Tabellen und Daten aus einer Oracle-Quelldatenbank überträgt.
    • Das Ausgabeformat der in Cloud Storage geschriebenen Dateien. Datastream unterstützt derzeit zwei Ausgabeformate: Avro und JSON. In dieser Kurzanleitung ist Avro das Dateiformat.

Einstellungen für den Stream festlegen

  1. Rufen Sie in der Google Cloud Console die Seite Streams für Datastream auf.

    Zur Seite „Streams“

  2. Klicken Sie auf STREAM ERSTELLEN.

  3. Geben Sie auf der Seite Stream erstellen im Bereich Streamdetails definieren die folgenden Informationen an:

    • Geben Sie My Stream als Streamname ein.
    • Behalten Sie die automatisch generierte Stream-ID bei.
    • Wählen Sie im Menü Region die Region aus, in der Sie Ihr Quellverbindungsprofil erstellt haben.
    • Wählen Sie im Menü Quelltyp den Profiltyp Oracle aus.
    • Wählen Sie im Menü Zieltyp den Profiltyp Cloud Storage aus.
  4. Prüfen Sie die erforderlichen Voraussetzungen, die automatisch generiert werden, um widerzuspiegeln, wie Ihre Umgebung für einen Stream vorbereitet sein muss. Diese Voraussetzungen können beispielsweise das Konfigurieren der Quelldatenbank und das Verbinden von Datastream mit dem Ziel-Bucket in Cloud Storage umfassen.

  5. Klicken Sie auf WEITER. Der Bereich Oracle-Verbindungsprofil definieren der Seite Stream erstellen wird angezeigt.

Informationen zum Quellverbindungsprofil angeben

  1. Wählen Sie im Menü Quellverbindungsprofil Ihr Quellverbindungsprofil für die Oracle-Datenbank aus.

  2. Klicken Sie auf TESTEN, um zu prüfen, ob die Quelldatenbank und der Datenstrom miteinander kommunizieren können.

    Wenn der Test fehlschlägt, wird das mit dem Verbindungsprofil verknüpfte Problem angezeigt. Weitere Informationen zur Fehlerbehebung finden Sie auf der Seite Probleme diagnostizieren. Nehmen Sie die erforderlichen Änderungen vor, um das Problem zu beheben, und führen Sie den Test noch einmal durch.

  3. Klicken Sie auf WEITER. Der Bereich Stream-Quelle konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zur Quelldatenbank für den Stream konfigurieren

  1. Verwenden Sie das Menü Aufzunehmende Objekte, um die Tabellen und Schemata in Ihrer Quelldatenbank anzugeben, die Datastream in einen Ordner im Ziel-Bucket in Cloud Storage übertragen kann. Das Menü wird nur geladen,wenn Ihre Datenbank bis zu 5.000 Objekte enthält.

    In dieser Kurzanleitung soll Datastream alle Tabellen und Schemas übertragen. Wählen Sie daher im Menü die Option Alle Tabellen aus allen Schemas aus.

  2. Klicken Sie auf WEITER. Der Bereich Cloud Storage-Verbindungsprofil definieren der Seite Stream erstellen wird angezeigt.

Zielverbindungsprofil auswählen

  1. Wählen Sie im Menü Zielverbindungsprofil Ihr Zielverbindungsprofil für Cloud Storage aus.

  2. Klicken Sie auf WEITER. Der Bereich Stream-Ziel konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zum Ziel für den Stream konfigurieren

  1. Geben Sie im Feld Stream-Pfadpräfix den Ordner des Ziel-Buckets ein, in den Datastream Schemas, Tabellen und Daten aus einer Oracle-Quelldatenbank übertragen soll.

    In dieser Kurzanleitung soll Datastream Daten aus der Quelldatenbank in den Ordner /root/tutorial im Ziel-Bucket von Cloud Storage übertragen. Geben Sie daher /root/tutorial in das Feld Streampfadpräfix ein.

  2. Wählen Sie im Feld Ausgabeformat das Format der in Cloud Storage geschriebenen Dateien aus. In dieser Kurzanleitung ist Avro das Dateiformat.

  3. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Stream erstellen

  1. Prüfen Sie Details zum Stream sowie die Quell- und Zielverbindungsprofile, die der Stream zur Übertragung von Daten von einer Oracle-Quelldatenbank zu einem Ziel-Bucket in Cloud Storage verwenden wird.

  2. Klicken Sie auf VALIDIERUNG AUSFÜHREN, um den Stream zu validieren. Bei der Validierung eines Streams prüft Datastream, ob die Quelle richtig konfiguriert ist, ob der Stream eine Verbindung zur Quelle und zum Ziel herstellen kann und ob die End-to-End-Konfiguration des Streams stimmt.

  3. Wenn alle Validierungsprüfungen erfolgreich waren, klicken Sie auf ERSTELLEN.

  4. Klicken Sie im Dialogfeld Stream erstellen? auf ERSTELLEN.

Nachdem Sie einen Stream erstellt haben, können Sie ihn starten.

Stream starten

Im vorherigen Abschnitt der Kurzanleitung haben Sie einen Stream erstellt, aber nicht gestartet. Das können Sie jetzt tun.

In dieser Kurzanleitung erstellen und starten Sie einen Stream separat, für den Fall, dass der Stream-Erstellungsprozess eine erhöhte Belastung Ihrer Quelldatenbank verursacht. Um diesen Ladevorgang auszugleichen, erstellen Sie den Stream, ohne ihn zu starten. Dann starten Sie den Stream, wenn die Last erreicht werden kann.

Durch das Starten des Streams kann Datastream Daten, Schemas und Tabellen von der Quelldatenbank zum Ziel übertragen.

  1. Rufen Sie in der Google Cloud Console die Seite Streams für Datastream auf.

    Zur Seite „Streams“

  2. Klicken Sie das Kästchen links neben dem Stream an, den Sie starten möchten. In dieser Kurzanleitung ist dies Mein Stream.

  3. Klicken Sie auf START (Starten).

  4. Klicken Sie im Dialogfeld auf STARTEN. Der Status des Streams ändert sich von Not started in Starting in Running.

Nachdem Sie einen Stream gestartet haben, können Sie überprüfen, ob Datastream Daten aus der Quelldatenbank zum Ziel übertragen hat.

Stream prüfen

In diesem Abschnitt bestätigen Sie, dass Datastream die Daten aus allen Tabellen einer Oracle-Quelldatenbank in den Ordner /root/tutorial Ihres Cloud Storage-Ziel-Buckets überträgt.

  1. Rufen Sie in der Google Cloud Console die Seite Streams für Datastream auf.

    Zur Seite „Streams“

  2. Klicken Sie auf den Stream, den Sie erstellt haben. In dieser Kurzanleitung ist dies Mein Stream.

  3. Klicken Sie auf der Seite Stream-Details auf den Link, der unter dem Feld Zielschreibpfad angezeigt wird. Die Seite Bucket-Details von Cloud Storage wird in einem separaten Tab geöffnet.

  4. Prüfen Sie, ob die Ordner angezeigt werden, die Tabellen Ihrer Oracle-Quelldatenbank darstellen.

  5. Klicken Sie auf einen der Tabellenordner und schlüsseln Sie die Daten auf, bis Sie Daten sehen, die mit der Tabelle verknüpft sind.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

  1. Verwenden Sie die Google Cloud Console, um Ihr Projekt, den Datastream-Stream und die Verbindungsprofile sowie den Cloud Storage-Ziel-Bucket zu löschen.

Bereinigen Sie die Ressourcen, die Sie in Datastream erstellt haben, damit sie kein Kontingent verbrauchen und Ihnen in Zukunft nicht in Rechnung gestellt werden. In den folgenden Abschnitten wird erläutert, wie Sie diese Ressourcen löschen oder deaktivieren.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für diese Kurzanleitung erstellten Projekts.

  1. Wechseln Sie in der Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite "Ressourcen verwalten"

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.

  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Herunterfahren, um das Projekt zu löschen.

Stream löschen

  1. Rufen Sie in der Google Cloud Console die Seite Streams für Datastream auf.

    Zur Seite „Streams“

  2. Klicken Sie auf den Stream, den Sie löschen möchten. In dieser Kurzanleitung ist dies Mein Stream.

  3. Klicken Sie auf PAUSIEREN.

  4. Klicken Sie im Dialogfeld auf PAUSIEREN.

  5. Prüfen Sie im Bereich Streamstatus der Seite Stream-Details, ob der Status des Streams Paused ist.

  6. Klicken Sie auf Delete.

  7. Geben Sie im Dialogfeld Delete in das Textfeld ein und klicken Sie dann auf LÖSCHEN.

Verbindungsprofile löschen

  1. Rufen Sie in der Google Cloud Console die Seite Verbindungsprofile für Datastream auf.

    Zur Seite „Verbindungsprofile“

  2. Klicken Sie auf das Kästchen neben jedem Verbindungsprofil, das Sie löschen möchten. Aktivieren Sie für diese Kurzanleitung die Kästchen für Mein Quellverbindungsprofil und Mein Zielverbindungsprofil.

  3. Klicken Sie auf Delete.

  4. Klicken Sie im Dialogfeld auf LÖSCHEN.

Cloud Storage-Ziel-Bucket löschen

  1. Rufen Sie in der Google Cloud Console die Seite Browser für Cloud Storage auf.

    Zur Seite "Browser"

  2. Klicken Sie auf das Kästchen links neben dem Bucket und dann auf LÖSCHEN.

  3. Geben Sie im Dialogfeld DELETE in das Textfeld ein und klicken Sie dann auf LÖSCHEN.

Nächste Schritte

  • Weitere Informationen zu Datastream
  • Probieren Sie andere Google Cloud-Funktionen selbst aus. Werfen Sie einen Blick auf unsere Kurzanleitungen.