Die Vorlage "MySQL für BigQuery" ist eine Batchpipeline, die Daten aus einer MySQL-Tabelle in eine vorhandene BigQuery-Tabelle kopiert. Diese Pipeline verwendet JDBC, um eine Verbindung zu MySQL herzustellen. Als zusätzliche Schutzmaßnahme können Sie auch einen Cloud KMS-Schlüssel zusammen mit einem Base64-codierten Nutzernamen, Passwort und Verbindungsstring-Parametern übergeben, die mit dem Cloud KMS-Schlüssel verschlüsselt sind. Weitere Informationen zum Verschlüsseln von Nutzernamen, Passwörtern und Verbindungsstring-Parametern finden Sie unter Cloud KMS API-Verschlüsselungsendpunkt.
Pipelineanforderungen
- Die BigQuery-Tabelle muss vor der Pipelineausführung vorhanden sein.
- Die BigQuery-Tabelle muss ein kompatibles Schema haben.
- Die relationale Datenbank muss über das Subnetz zugänglich sein, in dem Dataflow ausgeführt wird.
Vorlagenparameter
Parameter | Beschreibung |
---|---|
connectionURL |
Der URL-String für die JDBC-Verbindung. Beispiel: jdbc:mysql://some-host:3306/sampledb .
Sie können diesen Wert als String übergeben, der mit einem Cloud KMS-Schlüssel und dann Base64-verschlüsselt ist.
Entfernen Sie Leerzeichen aus dem Base64-codierten String. |
outputTable |
Der Speicherort der BigQuery-Ausgabetabelle im Format <my-project>:<my-dataset>.<my-table> . |
bigQueryLoadingTemporaryDirectory |
Das temporäre Verzeichnis für den BigQuery-Ladevorgang.
Beispiel: gs://<my-bucket>/my-files/temp_dir . |
query |
Die Abfrage, die in der Quelle zur Extraktion der Daten ausgeführt wird. Beispiel: select * from sampledb.sample_table .
Erforderlich, wenn keine Partitionen verwendet werden. |
table |
Die Tabelle, aus der die Daten extrahiert werden sollen. Dieser Parameter akzeptiert auch eine Unterabfrage in Klammern.
Beispiel: Person oder (select id, name from Person) as subq .
Erforderlich bei Verwendung von Partitionen. |
partitionColumn |
Der Name einer Spalte, die für die Partitionierung verwendet werden soll. Es werden nur numerische Spalten unterstützt. Erforderlich bei Verwendung von Partitionen. |
connectionProperties |
Optional: Attributstring für die JDBC-Verbindung. Das Format des Strings muss [propertyName=property;]* sein.
Beispiel: unicode=true;characterEncoding=UTF-8 . Weitere Informationen finden Sie unter Konfigurationsattribute in der MySQL-Dokumentation. |
username |
Optional: Der Nutzername für die JDBC-Verbindung. Sie können diesen Wert mit einem Cloud KMS-Schlüssel als Base64-codierten String übergeben. |
password |
Optional: Das Passwort für die JDBC-Verbindung. Sie können diesen Wert mit einem Cloud KMS-Schlüssel als Base64-codierten String übergeben. |
KMSEncryptionKey |
Optional: Der Cloud KMS-Verschlüsselungsschlüssel zum Entschlüsseln von Nutzernamen, Passwort und Verbindungsstring. Wenn Sie einen Cloud KMS-Schlüssel übergeben, müssen Sie auch den Nutzernamen, das Passwort und den Verbindungsstring verschlüsseln. |
numPartitions |
Optional: Die Anzahl der zu verwendenden Partitionen. Wenn keine Angabe erfolgt, wird vom Worker eine konservative Zahl angenommen. |
disabledAlgorithms |
Optional: Durch Kommas getrennte Algorithmen zum Deaktivieren. Wenn dieser Wert auf none gesetzt ist, wird kein Algorithmus deaktiviert.
Verwenden Sie diesen Parameter mit Vorsicht, da die standardmäßig deaktivierten Algorithmen Sicherheitslücken oder Leistungsprobleme haben können.
Beispiel: SSLv3, RC4. |
extraFilesToStage |
Durch Kommas getrennte Cloud Storage-Pfade oder Secret Manager-Secrets für Dateien, die im Worker bereitgestellt werden sollen.
Diese Dateien werden im Verzeichnis /extra_files in jedem Worker gespeichert.
Beispiel: gs://<my-bucket>/file.txt,projects/<project-id>/secrets/<secret-id>/versions/<version-id> . |
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the MySQL to BigQuery template aus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/MySQL_to_BigQuery \ --parameters \ connectionURL=JDBC_CONNECTION_URL,\ query=SOURCE_SQL_QUERY,\ outputTable=PROJECT_ID:DATASET.TABLE_NAME, bigQueryLoadingTemporaryDirectory=PATH_TO_TEMP_DIR_ON_GCS,\ connectionProperties=CONNECTION_PROPERTIES,\ username=CONNECTION_USERNAME,\ password=CONNECTION_PASSWORD,\ KMSEncryptionKey=KMS_ENCRYPTION_KEY
Dabei gilt:
JOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
REGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
JDBC_CONNECTION_URL
: Die JDBC-Verbindungs-URLSOURCE_SQL_QUERY
: die SQL-Abfrage, die in der Quelldatenbank ausgeführt werden sollDATASET
: Ihr BigQuery-DatasetTABLE_NAME
: Ihr BigQuery-TabellennamePATH_TO_TEMP_DIR_ON_GCS
: Der Cloud Storage-Pfad zum temporären VerzeichnisCONNECTION_PROPERTIES
: die JDBC-Verbindungsattribute, falls erforderlichCONNECTION_USERNAME
: Der Nutzername der JDBC-VerbindungCONNECTION_PASSWORD
: Das JDBC-VerbindungspasswortKMS_ENCRYPTION_KEY
: der Cloud KMS-Verschlüsselungsschlüssel
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/MySQL_to_BigQuery" "parameters": { "connectionURL": "JDBC_CONNECTION_URL", "query": "SOURCE_SQL_QUERY", "outputTable": "PROJECT_ID:DATASET.TABLE_NAME", "bigQueryLoadingTemporaryDirectory": "PATH_TO_TEMP_DIR_ON_GCS", "connectionProperties": "CONNECTION_PROPERTIES", "username": "CONNECTION_USERNAME", "password": "CONNECTION_PASSWORD", "KMSEncryptionKey":"KMS_ENCRYPTION_KEY" }, "environment": { "zone": "us-central1-f" } } }
Dabei gilt:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlVERSION
: die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
LOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
JDBC_CONNECTION_URL
: Die JDBC-Verbindungs-URLSOURCE_SQL_QUERY
: die SQL-Abfrage, die in der Quelldatenbank ausgeführt werden sollDATASET
: Ihr BigQuery-DatasetTABLE_NAME
: Ihr BigQuery-TabellennamePATH_TO_TEMP_DIR_ON_GCS
: Der Cloud Storage-Pfad zum temporären VerzeichnisCONNECTION_PROPERTIES
: die JDBC-Verbindungsattribute, falls erforderlichCONNECTION_USERNAME
: Der Nutzername der JDBC-VerbindungCONNECTION_PASSWORD
: Das JDBC-VerbindungspasswortKMS_ENCRYPTION_KEY
: der Cloud KMS-Verschlüsselungsschlüssel
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.