Diese Seite wurde von der Cloud Translation API übersetzt.

Daten mithilfe von Vorlagen aufnehmen

Dataplex Universal Catalog bietet Vorlagen (basierend auf Dataflow) für gängige Datenverarbeitungsaufgaben wie Datenaufnahme, Verarbeitung und Verwaltung des Datenlebenszyklus. In dieser Anleitung wird beschrieben, wie Sie eine Vorlage konfigurieren und ausführen, mit der Daten über eine JDBC-Verbindung aufgenommen werden.

Hinweise

Dataplex Universal Catalog-Aufgabenvorlagen basieren auf Dataflow. Bevor Sie Vorlagen verwenden, müssen Sie die Dataflow APIs aktivieren.

Dataflow APIs aktivieren

Vorlage: Daten über eine JDBC-Verbindung in Dataplex Universal Catalog aufnehmen

Mit der Dataplex Universal Catalog-JDBC-Aufnahmevorlage werden Daten aus einer relationalen Datenbank in ein Dataplex Universal Catalog-Asset-Ziel kopiert. Das Dataplex Universal Catalog-Asset kann ein Cloud Storage-Asset oder ein BigQuery-Asset sein.

Diese Pipeline verwendet JDBC, um eine Verbindung zur relationalen Datenbank herzustellen. Als zusätzliche Schutzmaßnahme können Sie auch einen Cloud KMS-Schlüssel zusammen mit einem Base64-codierten Nutzernamen, Passwort und Verbindungsstring-Parametern übergeben, die mit dem Cloud KMS-Schlüssel verschlüsselt sind.

Die Vorlage verarbeitet die verschiedenen Asset-Typen transparent. Die im Cloud Storage-Asset gespeicherten Daten sind im Hive-Stil partitioniert und durch die Ermittlung im Dataplex Universal Catalog automatisch als Tabelle in Data Catalog (eingestellt), BigQuery (externe Tabelle) oder einer angehängten Dataproc Metastore-Instanz verfügbar.

Vorlagenparameter

Parameter	Beschreibung
`driverJars`	Trennen Sie Cloud Storage-Pfade für JDBC-Treiber durch Kommas. Beispiele: `gs://your-bucket/driver_jar1.jar`, `gs://your-bucket/driver_jar2.jar.`
`connectionURL`	Der URL-Verbindungs-String für die Verbindung zur JDBC-Quelle. Beispiel: `jdbc:mysql://some-host:3306/sampledb`. Sie können die Verbindungs-URL als Nur-Text oder als Base64-codierten String übergeben, der mit Cloud KMS verschlüsselt ist.
`driverClassName`	Der Name der JDBC-Treiberklasse. Beispiel: `com.mysql.jdbc.Driver`.
`connectionProperties`	Attributstring für die JDBC-Verbindung. Beispiel: `unicode=true&characterEncoding=UTF-8`.
`query`	Die Abfrage, die in der Quelle zur Extraktion der Daten ausgeführt wird. Beispiel: `select * from sampledb.sample_table`.
`outputAsset`	Die ID des Dataplex Universal Catalog-Ausgabe-Assets, in dem die Ergebnisse gespeichert werden. Verwenden Sie für die ID das Format `projects/your-project/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name></code>`. Sie finden die `outputAsset` in der Google Cloud Console auf dem Tab Details des Dataplex Universal Catalog-Assets.
`username`	Der Nutzername, der für die JDBC-Verbindung verwendet werden soll. Sie können den Nutzernamen als Nur-Text oder als Base64-codierten String übergeben, der mit Cloud KMS verschlüsselt ist.
`password`	Das Passwort für die JDBC-Verbindung. Sie können das Passwort als Nur-Text oder als Base64-codierten String übergeben, der mit Cloud KMS verschlüsselt ist.
`outputTable`	Der Speicherort der BigQuery-Tabelle oder der Name des Cloud Storage-Ordners der obersten Ebene, in die die Ausgabe geschrieben werden soll. Wenn es sich um einen Speicherort für eine BigQuery-Tabelle handelt, muss das Schema der Tabelle mit dem Schema der Quellabfrage übereinstimmen und sollte das Format `some-project-id:somedataset.sometable` haben. Wenn es sich um einen Cloud Storage-Ordner der obersten Ebene handelt, geben Sie den Namen des Ordners der obersten Ebene an.
`KMSEncryptionKey`	Optional: Wenn Sie den Parameter `KMSEncryptionKey` angeben, müssen `password`, `username` und `connectionURL` mit Cloud KMS verschlüsselt sein. Verschlüsseln Sie diese Parameter mit dem Verschlüsselungsendpunkt der Cloud KMS API. Beispiel: `projects/your-project/locations/global/keyRings/test/cryptoKeys/quickstart`.
`writeDisposition`	Optional: Die Strategie, die angewendet werden soll, wenn die Zieldatei oder ‑tabelle vorhanden ist. Unterstützte Formate sind `WRITE_APPEND` (Zeilen werden angehängt, wenn die Tabelle vorhanden ist), `WRITE_TRUNCATE` (Tabelle/Datei wird überschrieben), `WRITE_EMPTY` (Ausgabetabelle muss leer sein/Ausgabedatei darf nicht vorhanden sein) und `SKIP` (das Schreiben in die Datei wird übersprungen, wenn sie vorhanden ist). Für BigQuery sind die folgenden Formate zulässig: `WRITE_APPEND`, `WRITE_TRUNCATE`, `WRITE_EMPTY`. Für Cloud Storage sind die folgenden Formate zulässig: `SKIP`, `WRITE_TRUNCATE`, `WRITE_EMPTY`. Standard: `WRITE_EMPTY`.
`partitioningScheme`	Optional: Das Partitionsschema beim Schreiben der Datei. Der Standardwert für diesen Parameter ist `DAILY`. Andere Werte für den Parameter können `MONTHLY` oder `HOURLY` sein.
`partitionColumn`	Optional: Die Partitionsspalte, auf der die Partition basiert. Der Spaltentyp muss das Format `timestamp/date` haben. Wenn der Parameter `partitionColumn` nicht angegeben wird, werden die Daten nicht partitioniert.
`fileFormat`	Optional: Das Ausgabedateiformat in Cloud Storage. Dateien werden mit der Standardeinstellung „Snappy-Komprimierung“ komprimiert. Der Standardwert für diesen Parameter ist `PARQUET`. Ein weiterer Wert für den Parameter ist `AVRO`.
`updateDataplexMetadata`	Optional: Gibt an, ob die Metadaten von Dataplex Universal Catalog für die neu erstellten Entitäten aktualisiert werden sollen. Der Standardwert für diesen Parameter ist `false`. Wenn diese Option aktiviert ist, wird das Schema automatisch von der Quelle in die Zielentitäten von Dataplex Universal Catalog kopiert und die automatische Dataplex Universal Catalog Discovery wird für diese Entitäten nicht ausgeführt. Verwenden Sie dieses Flag, wenn Sie ein verwaltetes Schema an der Quelle haben. Wird nur für Cloud Storage-Ziele unterstützt.

Führen Sie die Vorlage aus.

Konsole

Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Verarbeiten auf:

Zur Seite „Prozess“
Klicken Sie auf Aufgabe erstellen.
Klicken Sie unter JDBC in Dataplex aufnehmen auf Aufgabe erstellen.
Wählen Sie einen Dataplex Universal Catalog-Lake aus.
Geben Sie einen Namen für die Aufgabe an.
Wählen Sie eine Region für die Ausführung von Aufgaben aus.
Geben Sie die erforderlichen Parameter ein.
Klicken Sie auf Weiter.

gcloud

Führen Sie die folgende Vorlage in der Shell oder im Terminal aus:

gcloud beta dataflow flex-template run JOB_NAME \
--project=PROJECT_ID \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_JDBC_Ingestion_Preview \
--parameters \
driverJars=DRIVER_JARS,\
connectionUrl=CONNECTION_URL,\
driverClassName=DRIVER_CLASS_NAME,\
connectionProperties=CONNECTION_PROPERTIES,\
query=QUERY\
outputAsset=OUTPUT_ASSET\

Ersetzen Sie Folgendes:

JOB_NAME: a job name of your choice
PROJECT_ID: your template project ID
DRIVER_JARS: path to your JDBC drivers
CONNECTION_URL: your JDBC connection URL string
DRIVER_CLASS_NAME: your JDBC driver class name
CONNECTION_PROPERTIES: your JDBC connection property string
QUERY: your JDBC source SQL query
OUTPUT_ASSET: your Dataplex Universal Catalog output asset ID

REST API

Senden Sie eine HTTP-POST-Anfrage:

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "driverJars": "DRIVER_JARS",
          "connectionUrl": "CONNECTION_URL",
          "driverClassName": "DRIVER_CLASS_NAME",
          "connectionProperties": "CONNECTION_PROPERTIES",
          "query": "QUERY"
          "outputAsset": "OUTPUT_ASSET"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_JDBC_Ingestion_Preview",
   }
}