Daten aus der Oracle-Datenbank in BigQuery replizieren

---

In dieser Anleitung erfahren Sie, wie Sie einen Job bereitstellen, der geänderte Daten mithilfe von Cloud Data Fusion-Replikation kontinuierlich aus einer Oracle-Datenbank in ein BigQuery-Dataset repliziert. Dieses Feature wird von Datastream unterstützt.

Lernziele

In dieser Anleitung lernen Sie, wie Sie:

1. Konfigurieren Sie die Oracle-Datenbank, um das zusätzliche Logging zu aktivieren.
2. Cloud Data Fusion-Replikationsjob erstellen und ausführen.
3. Ergebnisse in BigQuery anzeigen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Cloud Data Fusion
• Datastream
• BigQuery
• Cloud Storage
• Dataproc
• Compute Engine

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Bei der Replikation werden Ihnen der Dataproc-Cluster und Cloud Storage in Rechnung gestellt sowie Verarbeitungskosten für Datastream und BigQuery. Zur Optimierung dieser Kosten empfehlen wir dringend die Verwendung der BigQuery-Pauschalpreise.

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

   Enable the APIs

8. Erstellen Sie eine öffentliche Cloud Data Fusion-Instanz in Version 6.3.0 oder höher. Wenn Sie eine private Instanz erstellen, richten Sie VPC-Netzwerk-Peering ein.
   • Aktivieren Sie beim Erstellen der Instanz die Replikation. Klicken Sie dazu auf Beschleuniger hinzufügen und dann auf das Kästchen Replikation.
   • Informationen zum Aktivieren in einer vorhandenen Instanz finden Sie unter Replikation aktivieren.

Wichtig: Sie müssen die Replikation in Ihrer Instanz aktivieren, damit sie im Menü von Cloud Data Fusion angezeigt wird (siehe Replikation aktivieren).

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Herstellen einer Verbindung zu einer Oracle-Datenbank benötigen:

• Dataproc-Worker (roles/dataproc.worker) im Dataproc-Dienstkonto in dem Projekt, das den Cluster enthält
• Cloud Data Fusion-Runner für das Dataproc-Dienstkonto in dem Projekt, das den Cluster enthält
• DataStream Admin (roles/datastream.admin) für das Cloud Data Fusion- und das Dataproc-Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Optional: Oracle in Compute Engine installieren

In diesem Abschnitt wird gezeigt, wie Sie eine Beispieldatenbank einrichten. Wenn Sie bereits eine Oracle-Datenbank installiert haben, können Sie diesen Abschnitt überspringen.

Hinweis: Datastream unterstützt nur bestimmte Versionen der Oracle-Datenbank.

1. Laden Sie ein Oracle Server-Docker-Image herunter.

   Einschränkungen dieses Oracle Express Edition 11g-Image finden Sie unter Oracle Database Editions.

2. Stellen Sie Ihr Docker-Image auf einer neuen VM-Instanz bereit.

   Hinweis: Zum Bereitstellen des Images in der neuen VM-Instanz muss der Compute Engine-Dienst die Rolle Artifact Registry-Leser (roles/artifactregistry.reader) haben.

3. Ändern Sie auf der Compute Engine-Seite Laufwerke die Laufwerksgröße in 500 GB und starten Sie die VM neu.

   Zur Seite „Laufwerke“

4. HR-Beispielschema installieren.

VPC-Netzwerk-Peering- oder Firewallregel für Ihren Oracle-Server erstellen

Wenn Ihre Oracle-Datenbank keinen eingehenden Traffic von öffentlichen IP-Adressen zulässt, richten Sie VPC-Netzwerk-Peering zwischen der Datastream-VPC und der VPC ein, in der auf Ihre Oracle-Datenbank zugegriffen werden kann. Weitere Informationen finden Sie unter Konfiguration für private Verbindungen erstellen.

Wenn Ihre Oracle-Datenbank eingehenden Traffic von öffentlichen IP-Adressen zulässt, erstellen Sie eine Firewallregel für die VM-Instanz, um eingehenden Traffic von öffentlichen Datastream-IP-Adressen zuzulassen.

Oracle-Server konfigurieren, um das zusätzliche Logging zu aktivieren

Führen Sie die Schritte zum Konfigurieren Ihrer Oracle-Quelldatenbank aus.

Cloud Data Fusion-Replikationsjob erstellen und ausführen

Auftrag erstellen

1. Klicken Sie in der Weboberfläche von Cloud Data Fusion auf Replikation.

2. Klicken Sie auf Replikationsjob erstellen.

3. Geben Sie auf der Seite Neuen Replikationsjob erstellen den Namen eines Replikationsjobs an und klicken Sie auf Weiter.

4. Konfigurieren Sie die Quelle:

   1. Wählen Sie Oracle (von Datastream) als Quelle aus.

   2. Wenn der Oracle-Server eingehenden Traffic von öffentlichen Datastream-IP-Adressen zulässt, wählen Sie unter Verbindungsmethode die Option IP-Zulassungsliste aus. Andernfalls wählen Sie unter Name der privaten Verbindung die Option Private Verbindung (VPC-Peering) aus und geben Sie den Namen ein, den Sie im Abschnitt VPC-Netzwerk-Peering oder Firewallregel für Oracle Server erstellen erstellt haben.

   3. Geben Sie unter Host den Hostnamen des Oracle-Servers ein, der gelesen werden soll.

   4. Geben Sie unter Port den Port ein, mit dem eine Verbindung zum Oracle-Server hergestellt werden soll: 1521.

   5. Geben Sie unter Systemidentität xe ein (der Beispieldatenbankname des Oracle-Servers).

   6. Geben Sie im Abschnitt "Anmeldedaten" Ihren Nutzernamen und Ihr Passwort für den Zugriff auf den Oracle Server ein.

   7. Lassen Sie alle anderen Attribute unverändert.

5. Klicken Sie auf Next (Weiter).

6. Konfigurieren Sie das Ziel:

   1. Wählen Sie das BigQuery-Ziel aus.

   2. Die Projekt-ID und der Dienstkontoschlüssel werden automatisch erkannt. Übernehmen Sie die Standardwerte unverändert.

   3. Optional: Im Bereich Erweitert können Sie Folgendes konfigurieren:

      • Name und Speicherort des Staging-Buckets
      • Ladeintervall
      • Präfix der Staging-Tabelle
      • Verhalten beim Löschen von Tabellen oder Datenbanken

7. Klicken Sie auf Next (Weiter).

8. Wenn die Verbindung erfolgreich hergestellt wurde, wird eine Liste mit Tabellen angezeigt. Wählen Sie für diese Anleitung einige Tabellen aus.

   Hinweis: Damit Sie fortfahren können, muss das zusätzliche Logging für die ausgewählten Tabellen aktiviert sein.

9. Klicken Sie auf Next (Weiter).

10. Klicken Sie auf der Seite "Bewertung prüfen" für eine der Tabellen auf Zuordnungen anzeigen, um eine Bewertung der Schemaprobleme, der fehlenden Features oder der Verbindungsprobleme zu erhalten, die während der Replikation auftreten können.

    Sollten Probleme auftreten, müssen Sie sie beheben, bevor Sie fortfahren. Wenn im Rahmen dieser Anleitung Probleme mit den Tabellen auftreten, gehen Sie so vor:

    1. Kehren Sie zu dem Schritt zurück, in dem Sie Tabellen ausgewählt haben.
    2. Wählen Sie eine Tabelle oder ein Ereignis („Einfügungen“, „Aktualisierungen“ oder „Löschungen“) aus, ohne dass Probleme auftreten.

    Weitere Informationen zu Datentypkonvertierungen von der Quelldatenbank in das BigQuery-Ziel finden Sie unter Datentypen der Replikation.

11. Klicken Sie auf Back (Zurück).

12. Klicken Sie auf Next (Weiter).

13. Prüfen Sie die Übersichtsdetails des Replikationsjobs und klicken Sie dann auf Replikationsjob bereitstellen.

Job starten

1. Rufen Sie in der Cloud Data Fusion-Weboberfläche die Seite Details zum Replikationsjob auf.

2. Klicken Sie auf Start.

Der Replikationsjob wechselt vom Status Wird bereitgestellt in den Status Wird gestartet in den Status Wird ausgeführt. Im Status „Wird ausgeführt“ lädt der Replikationsjob einen ersten Snapshot der von Ihnen ausgewählten Tabellendaten in BigQuery. In diesem Status wird der Status der Tabelle als Snapshots werden erstellt aufgeführt. Nachdem der erste Snapshot in BigQuery geladen wurde, werden alle an der Tabelle vorgenommenen Änderungen nach BigQuery repliziert und der Status der Tabelle als Wird repliziert aufgeführt.

Job überwachen

Sie können den Replikationsjob starten und beenden, seine Konfiguration und Logs überprüfen sowie den Replikationsjob überwachen.

Sie können die Aktivitäten der Replikationsjobs auf der Seite mit den Details zum Replikationsjob überwachen.

1. Klicken Sie auf der Seite Replikation auf den Namen des gewünschten Replikationsjobs.

2. Klicken Sie auf Monitoring.

Ergebnisse in BigQuery anzeigen

Der Replikationsjob erstellt ein repliziertes Dataset und eine replizierte Tabelle in BigQuery, wobei die Namen aus der entsprechenden Oracle-Datenbank und -Tabellennamen übernommen werden.

Hinweis: Wenn der Name der Quelldatenbank nicht den Namenskonventionen für BigQuery-Datasets entspricht oder wenn beim Replizieren mehrerer Datasets zu einem BigQuery-Dataset Namenskonflikte auftreten, geben Sie Aliasse in den BigQuery-Zielattributen an.

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

2. Klicken Sie im linken Bereich auf den Projektnamen, um eine Liste der Datasets zu maximieren.

3. Wählen Sie zuerst das Dataset xe und dann eine Tabelle aus.

Weitere Informationen finden Sie in der BigQuery-Dokumentation.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Nachdem Sie diese Anleitung abgeschlossen haben, bereinigen Sie die in Google Cloud erstellten Ressourcen, damit sie keine kostenpflichtigen Kontingente verbrauchen. In den folgenden Abschnitten erfahren Sie, wie Sie diese Ressourcen löschen oder deaktivieren.

VM-Instanz löschen

1. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf.

   Zur Seite „VM-Instanzen“

2. Klicken Sie auf das Kästchen neben der Instanz, das gelöscht werden soll.

3. Zum Löschen der Instanz klicken Sie dann auf Löschen.

Löschen Sie die Cloud Data Fusion-Instanz.

Folgen Sie der Anleitung zum Löschen einer Cloud Data Fusion-Instanz.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte

• Weitere Informationen zu Datastream
• Weitere Informationen zur Replikation in Cloud Data Fusion
• Replication API-Referenz
• Weitere Informationen finden Sie in der Oracle-Replikationsreferenz.
• Anleitung zum Replizieren von Daten aus MySQL in BigQuery
• Anleitung zum Replizieren von Daten aus SQL Server in BigQuery