Daten aus der Oracle-Datenbank in BigQuery replizieren

---

In dieser Anleitung erfahren Sie, wie Sie einen Job bereitstellen, der geänderte Daten mithilfe von Cloud Data Fusion-Replikation kontinuierlich aus einer Oracle-Datenbank in ein BigQuery-Dataset repliziert. Dieses Feature basiert auf Datastream, dem cloudnativen Änderungsanbieter und dem Replikationsdienst von Google Cloud.

Lernziele

In dieser Anleitung lernen Sie, wie Sie:

1. Konfigurieren Sie die Oracle-Datenbank, um das zusätzliche Logging zu aktivieren.
2. Einen Cloud Data Fusion-Replikationsjob und erstellen und ausführen
3. Ergebnisse in BigQuery anzeigen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Cloud Data Fusion
• Datastream
• BigQuery
• Cloud Storage
• Dataproc
• Compute Engine

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Bei der Ausführung der Replikation werden Ihnen der Dataproc-Cluster und Cloud Storage sowie die Verarbeitungskosten für Datastream und BigQuery in Rechnung gestellt. Zur Optimierung dieser Kosten empfehlen wir dringend, BigQuery-Pauschalpreise zu verwenden.

Hinweis

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist

4. Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist

7. Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs aktivieren.

   Aktivieren Sie die APIs

8. Erstellen Sie eine private Cloud Data Fusion-Instanz in Version 6.4.0 oder höher. Führen Sie beim Einrichten der Instanz die folgenden Schritte aus:
• Aktivieren Sie Virtual Private Cloud Peering.
• Aktivieren Sie die Replikation: Klicken Sie auf Beschleuniger hinzufügen und wählen Sie Replikation aus.

Wenn Sie eine vorhandene Instanz verwenden oder im Cloud Data Fusion- Menü die Option Replikation nicht sehen, lesen Sie Upgrade durchführen, um die Replikation zu aktivieren.

Optional: Oracle in Compute Engine installieren

In diesem Abschnitt wird beschrieben, wie Sie eine Beispieldatenbank einrichten. Wenn Sie bereits eine Oracle-Datenbank installiert haben, können Sie diese verwenden und diesen Abschnitt überspringen.

Hinweis: Datastream unterstützt nur bestimmte Versionen der Oracle-Datenbank.

1. Laden Sie ein Oracle Server-Docker-Image herunter. (Dieses Image ist eine Express-Version von Oracle 11g. Sie hat Einschränkungen bei den Funktionen. Weitere Informationen finden Sie unter Oracle-Datenbankversionen.

2. Docker-Image in Container Registry hochladen.

3. Stellen Sie Ihr Docker-Image auf einer neuen VM-Instanz bereit. Ändern Sie beim Erstellen der VM die Laufwerkgröße in 500 GB.

4. HR-Beispielschema installieren.

Oracle-Server konfigurieren, um das zusätzliche Logging zu aktivieren

Führen Sie die Schritte zum Konfigurieren Ihrer Oracle-Quelldatenbank aus.

Berechtigungen für Dienstkonten erteilen

Gewähren Sie dem Cloud Data Fusion-Dienstkonto und dem Dataproc-Dienstkonto die Berechtigung zum Aufrufen der Datastream API und zum Zugreifen auf Cloud Storage.

1. Öffnen Sie in der Google Cloud Console die Seite "IAM".

   Zur Seite „IAM“

2. Suchen Sie in der Berechtigungstabelle in der Spalte Hauptkonten das Cloud Data Fusion-Dienstkonto, das dem Format [e-mail] entspricht.

3. Klicken Sie rechts neben dem Dienstkonto auf Bearbeiten.

4. Klicken Sie auf Weitere Rolle hinzufügen.

5. Klicken Sie auf Rolle auswählen.

6. Wählen Sie in der Suchleiste DataStream-Administrator aus.

   

7. Klicken Sie auf Speichern.

8. Prüfen Sie, ob DataStream-Administrator in der Spalte Rolle der Tabelle mit den Berechtigungen angezeigt wird.

9. Wiederholen Sie diesen Abschnitt, um Berechtigung für das dem Dataproc-Dienstkonto zu erteilen:

   1. Öffnen Sie in der Google Cloud Console die Seite "IAM".

      Zur Seite „IAM“

   2. Suchen Sie in der Berechtigungstabelle in der Spalte "Hauptkonten" das Dataproc-VM-Dienstkonto, das dem Format <project-number>[e-mail] entspricht.

   3. Wiederholen Sie die Schritte 3 bis 8 in diesem Abschnitt.

Weitere Informationen zu Dienstkonten und Dienstkontoschlüsseln finden Sie unter Dienstkontoschlüssel erstellen und verwalten.

VPC-Netzwerk-Peering- oder Firewallregel für Ihren Oracle-Server erstellen

Wenn Ihre Oracle-Datenbank keinen eingehenden Traffic von öffentlichen IP-Adressen zulässt, müssen Sie VPC-Peering zwischen der Datastream-VPC und der VPC einrichten, auf die Ihre Oracle-Datenbank zugreifen kann. Weitere Informationen finden Sie unter Konfiguration einer privaten Verbindung erstellen.

Wenn die Oracle-Datenbank eingehenden Traffic von öffentlichen IP-Adressen zulässt, erstellen Sie eine Firewallregel für die VM-Instanz, um eingehenden Traffic von öffentlichen Datastream-IPs zuzulassen.

Cloud Data Fusion-Replikationsjob erstellen und ausführen

Auftrag erstellen

1. Klicken Sie in der Weboberfläche von Cloud Data Fusion auf das Menü und rufen Sie die Seite Replikation auf. Klicken Sie rechts oben auf den grünen Kreis.

2. Geben Sie auf der Seite Neuen Replikationsjob erstellen einen Namen für den Replikationsjob an. Geben Sie optional eine Beschreibung an.

3. Klicken Sie auf "Weiter".

4. Konfigurieren Sie die Quelle:

   1. Wählen Sie Oracle (von Datastream) als Quelle aus.

   2. Wenn der Oracle-Server eingehenden Traffic von öffentlichen Datastream-IP-Adressen zulässt, wählen Sie unter Verbindungsmethode die Option IP-Zulassungsliste aus. Wählen Sie andernfalls unter Name der privaten Verbindung die Option Private Verbindung (VPC-Peering) aus und geben Sie den Namen für das VPC-Peering ein, das Sie im Abschnitt VPC-Peering oder Firewallregel für Ihren Oracle-Server erstellen erstellt haben.

   3. Geben Sie unter Host den Hostnamen des Oracle-Servers ein, aus dem gelesen werden soll.

   4. Geben Sie unter Port den Port ein, der zum Herstellen einer Verbindung zum Oracle Server verwendet werden soll: 1521.

   5. Geben Sie unter Systemidentität xe ein (der Beispieldatenbankname des Oracle-Servers).

   6. Geben Sie im Abschnitt "Anmeldedaten" Ihren Nutzernamen und Ihr Passwort für den Zugriff auf den Oracle Server ein.

   7. Lassen Sie alle anderen Attribute unverändert.

5. Klicken Sie auf Next (Weiter).

6. Wenn die Verbindung hergestellt wurde, wird unter dem Beispielschema für die Personalabteilung eine Liste der Tabellen angezeigt. Wählen Sie für diese Anleitung alle zu replizierenden Tabellen und Ereignisse aus, einschließlich der Ereignisse „Einfügen“, „Aktualisieren“ und „Löschen“.

7. Klicken Sie auf Next (Weiter).

8. Konfigurieren Sie das Ziel:

   1. Wählen Sie das BigQuery-Ziel aus.

   2. Die Projekt-ID und der Dienstkontoschlüssel werden automatisch erkannt. Übernehmen Sie die Standardwerte unverändert.

   3. Optional: Im Abschnitt Erweitert können Sie Folgendes konfigurieren:

      • Name und Speicherort des Staging-Buckets
      • Ladeintervall
      • Präfix der Staging-Tabelle
      • Verhalten beim Löschen von Tabellen oder Datenbanken

9. Klicken Sie auf Next (Weiter).

10. Optional: Konfigurieren Sie die erweiterten Properties. Für diese Anleitung können Sie die Standardeinstellungen verwenden.

11. Klicken Sie auf Next (Weiter).

12. Klicken Sie auf der Seite "Bewertung prüfen" für eine der Tabellen auf Zuordnungen anzeigen, um eine Bewertung der Schemaprobleme, der fehlenden Features oder der Verbindungsprobleme zu erhalten, die während der Replikation auftreten können.

    Sollten Probleme auftreten, müssen Sie diese beheben, bevor Sie fortfahren. Wenn in dieser Anleitung Probleme auftreten, gehen Sie so vor:

    1. Kehren Sie zu dem Schritt zurück, bei dem Sie die Tabellen ausgewählt haben.
    2. Wählen Sie eine Tabelle oder ein Ereignis (Beilagen, Aktualisierungen oder Löschungen) aus.

    Weitere Informationen zu Datentypen, die von der Quelldatenbank zum BigQuery-Ziel konvertiert wurden, finden Sie unter Datentypen der Replikation.

13. Klicken Sie auf Back (Zurück).

14. Klicken Sie auf Next (Weiter).

15. Prüfen Sie die Details des Replikationsjobs und klicken Sie dann auf Replikationsjob bereitstellen.

Job starten

Auf der Seite Replikationsjobdetails:

Klicken Sie auf Start.

Der Replikationsjob wechselt vom Status Wird bereitgestellt zu Wird gestartet zu Wird ausgeführt. Im Status "Wird ausgeführt" lädt der Replikationsjob einen ersten Snapshot der ausgewählten Tabellendaten in BigQuery. In diesem Status wird der Status der Tabelle als Snapshots werden erstellt aufgeführt. Nachdem der erste Snapshot in BigQuery geladen wurde, werden alle an der Tabelle vorgenommenen Änderungen nach BigQuery repliziert und der Status der Tabelle als Wird repliziert aufgeführt.

Job überwachen

Sie können den Replikationsjob starten und beenden, seine Konfiguration und Logs prüfen und den Replikationsjob überwachen.

Sie können die Aktivitäten des Replikationsjobs auf der Seite Replikationsjobdetails überwachen.

1. Klicken Sie auf der Seite Replikation auf den gewünschten Namen des Replikationsjobs.

2. Klicken Sie auf Monitoring.

Ergebnisse in BigQuery anzeigen

Der Replikationsjob erstellt ein repliziertes Dataset und eine replizierte Tabelle in BigQuery, wobei die Namen aus der entsprechenden Oracle-Datenbank und den Tabellennamen übernommen werden.

Wenn der Name der Quelldatenbank nicht den Namenskonventionen für BigQuery-Datasets entspricht oder wenn beim Replizieren mehrerer Datasets in ein einzelnes BigQuery-Dataset Namenskonflikte bestehen, geben Sie Aliasse in den BigQuery-Zielattributen an.

1. Öffnen Sie BigQuery in der Google Cloud Console.

2. Klicken Sie im linken Bereich auf Ihren Projektnamen, um eine Liste von Datasets zu maximieren.

3. Wählen Sie zuerst das Dataset xe und dann eine Tabelle aus.

Weitere Informationen finden Sie in der BigQuery-Dokumentation.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Nachdem Sie diese Anleitung abgeschlossen haben, bereinigen Sie die in Google Cloud erstellten Ressourcen, damit sie keine kostenpflichtigen Kontingente verbrauchen. In den folgenden Abschnitten erfahren Sie, wie Sie diese Ressourcen löschen oder deaktivieren.

VM-Instanz löschen

1. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf.

   Zu Seite „VM-Instanzen“

2. Klicken Sie auf das Kästchen neben der Instanz, das gelöscht werden soll.

3. Zum Löschen der Instanz klicken Sie dann auf "Löschen".

Löschen Sie die Cloud Data Fusion-Instanz.

Folgen Sie der Anleitung zum Löschen Ihrer Cloud Data Fusion-Instanz.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für diese Anleitung ein bereits bestehendes Projekt verwendet haben, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Anleitungen und Schnellstarts durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, wenn Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte

• Weitere Informationen zu Datastream
• Weitere Informationen zur Replikation in Cloud Data Fusion
• Replication API-Referenz
• Weitere Informationen finden Sie in der Oracle-Replikationsreferenz.
• Anleitung zum Replizieren von Daten aus MySQL in BigQuery
• Anleitung zum Replizieren von Daten aus SQL Server in BigQuery