In dieser Anleitung erfahren Sie, wie Sie einen Job erstellen und bereitstellen, der geänderte Daten kontinuierlich aus einer MySQL-Datenbank in eine BigQuery-Tabelle repliziert.
Lernziele
In dieser Anleitung lernen Sie, wie Sie:
- Ihre MySQL-Datenbank in Compute Engine bereitstellen
- Ihre MySQL-Datenbank zum Aktivieren der Replikation einrichten
- Einen Cloud Data Fusion-Replikationsjob erstellen und ausführen
- Ergebnisse in BigQuery anzeigen
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Wenn die Replikation ausgeführt wird, werden Ihnen der Dataproc-Cluster und Verarbeitungskosten für BigQuery in Rechnung gestellt. Zur Optimierung dieser Kosten empfehlen wir dringend, BigQuery-Pauschalpreise zu verwenden.
Hinweis
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.
- Erstellen Sie eine öffentliche Cloud Data Fusion-Instanz in Version 6.3.0 oder höher. Wenn Sie eine private Instanz erstellen, richten Sie das VPC-Netzwerk-Peering ein.
- Aktivieren Sie beim Erstellen der Instanz die Replikation. Klicken Sie dazu auf Beschleuniger hinzufügen und setzen Sie ein Häkchen in das Kästchen Replikation.
- Informationen zum Aktivieren in einer vorhandenen Instanz finden Sie unter Replikation aktivieren.
Erforderliche Rollen
Informationen zu den Berechtigungen, die Sie für diese Anleitung benötigen, finden Sie unter Zugriffssteuerung mit IAM und Nutzerberechtigung für Dienstkonto gewähren.
MySQL in Compute Engine installieren
Hochladen Ihres Docker-Images in Artifact Registry.
Stellen Sie Ihr Docker-Image auf einer neuen VM-Instanz bereit.
Ändern Sie auf der Seite Laufwerke von Compute Engine die Laufwerkgröße in
500 GB
und starten Sie die VM neu.Erstellen Sie eine Firewall für die VM-Instanz.
Installieren Sie die Sakila-Beispieldatenbank.
Replikation in Ihrer MySQL-Datenbank aktivieren
Richten Sie Change Data Capture (CDC) in MySQL ein, um die Replikation zu aktivieren.
Cloud Data Fusion-Replikationsjob erstellen und ausführen
JDBC-Treiber hochladen
Laden Sie den JDBC-Treiber für MySQL (Version 8 oder höher) auf Ihren lokalen Computer herunter.
Laden Sie in der Cloud Data Fusion-Weboberfläche den JDBC-Treiber hoch.
Konfigurieren Sie den JDBC-Treiber mit diesen Werten:
- Geben Sie im Feld Name
mysql
ein. - Übernehmen Sie im Feld Version die Standardeinstellung.
- Geben Sie im Feld Klassenname
com.mysql.jdbc.Driver
ein.
- Geben Sie im Feld Name
Job erstellen
Klicken Sie in der Cloud Data Fusion-Weboberfläche auf Replikation.
Klicken Sie auf
Replikationsjob erstellen.Geben Sie auf der Seite Neuen Replikationsjob erstellen einen Namen für den Replikationsjob an und klicken Sie auf Weiter.
Konfigurieren Sie die Quelle:
- Wählen Sie MySQL als Quelle aus.
- Geben Sie unter Host den Hostnamen des MySQL-Servers ein, aus dem gelesen werden soll.
- Geben Sie unter Port den Port ein, der für die Verbindung zum MySQL Server verwendet werden soll:
3306
. - Wählen Sie unter Name des JDBC-Plug-ins
mysql
oder den Namen aus , den Sie bei der Konfiguration des JDBC-Treibers angegeben haben. - Geben Sie als Datenbankname
sakila
ein. - Geben Sie im Abschnitt Anmeldedaten Ihren Nutzernamen und Ihr Passwort ein, um auf den MySQL-Server zuzugreifen.
Klicken Sie auf Weiter.
Konfigurieren Sie das Ziel:
- Wählen Sie das BigQuery-Ziel aus.
- Die Projekt-ID und der Dienstkontoschlüssel werden automatisch erkannt. Ändern Sie sie nicht.
- Optional: Konfigurieren Sie im Abschnitt Erweitert den Namen, den Speicherort, das Ladeintervall, das Präfix der Staging-Tabelle und das Verhalten, wenn Tabellen oder Datenbanken gelöscht werden.
Klicken Sie auf Weiter.
Wenn die Verbindung erfolgreich ist, wird eine Liste der Sakila-Beispieldatenbanktabellen angezeigt. Wählen Sie für diese Anleitung einige Tabellen und Ereignisse aus, die repliziert werden sollen, z. B. Einfügen, Aktualisieren und Löschen.
Optional: Konfigurieren Sie die erweiterten Attribute. Für diese Anleitung können Sie die Standardeinstellungen verwenden.
Klicken Sie auf Weiter.
Klicken Sie auf der Seite Bewertung prüfen für eine der Tabellen auf Zuordnungen anzeigen, um eine Bewertung der Schemaprobleme, der fehlenden Features oder der Verbindungsprobleme zu erhalten, die während der Replikation auftreten können. Wenn Probleme auftreten, müssen diese behoben werden, um fortfahren zu können. Wenn in dieser Anleitung Probleme mit Tabellen auftreten, gehen Sie zurück zu dem Schritt, an dem Sie Tabellen ausgewählt haben, und wählen stattdessen Tabellen oder Ereignisse (Einfüge-, Aktualisierungs- oder Löschvorgänge) ohne Probleme aus.
Weitere Informationen zu Datentypkonvertierungen von der Quelldatenbank in das BigQuery-Ziel finden Sie unter Datentypen für die Replikation.
Klicken Sie auf Weiter.
Prüfen Sie die Details des Replikationsjobs und klicken Sie dann auf Replikationsjob bereitstellen.
Job starten
- Klicken Sie auf der Seite Replikationsjobdetails auf Starten.
Der Replikationsjob wechselt vom Status Wird bereitgestellt zu Wird gestartet zu Wird ausgeführt. Im Status „Wird ausgeführt“ lädt der Replikationsjob einen ersten Snapshot der ausgewählten Tabellendaten in BigQuery. In diesem Status wird der Status der Tabelle als Snapshots werden erstellt aufgeführt. Nachdem der erste Snapshot in BigQuery geladen wurde, werden alle an der Tabelle vorgenommenen Änderungen nach BigQuery repliziert und der Status der Tabelle als Wird repliziert aufgeführt.
Job überwachen
Sie können den Replikationsjob starten und beenden, seine Konfiguration und Logs prüfen und den Replikationsjob überwachen.
Sie können die Aktivitäten des Replikationsjobs auf der Seite Replikationsjobdetails überwachen.
Klicken Sie auf der Seite Replikation auf den Namen des Replikationsjobs.
Klicken Sie auf Monitoring.
Ergebnisse in BigQuery anzeigen
Der Replikationsjob erstellt ein repliziertes Dataset und eine replizierte Tabelle in BigQuery, wobei die Namen aus der entsprechenden MySQL-Datenbank und den Tabellennamen übernommen werden.
Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.
Wählen Sie im linken Bereich den Projektnamen aus, um eine Liste der Datasets zu maximieren.
Wenn Sie die Ergebnisse ansehen möchten, wählen Sie das Dataset
sakila
und dann eine Tabelle aus.
Weitere Informationen finden Sie in der BigQuery-Dokumentation.
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
Bereinigen Sie nach Abschluss der Anleitung die inGoogle Cloud erstellten Ressourcen, damit sie keine kostenpflichtigen Kontingente verbrauchen. In den folgenden Abschnitten erfahren Sie, wie Sie diese Ressourcen löschen oder deaktivieren.
Löschen Sie die Cloud Data Fusion-Instanz.
Folgen Sie der Anleitung zum Löschen Ihrer Cloud Data Fusion-Instanz.
Projekt löschen
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Nächste Schritte
- Weitere Informationen zur Replikation in Cloud Data Fusion
- Replication API-Referenz
- Anleitung zum Replizieren von Daten aus SQL Server in BigQuery
- Anleitung zum Replizieren von Daten aus Oracle in BigQuery