Dataplex proporciona plantillas (con la tecnología de Dataflow) para realizar tareas comunes de procesamiento de datos, como la transferencia, el procesamiento y la administración del ciclo de vida de los datos. En esta guía, se describe cómo configurar y ejecutar una plantilla que transfiere datos mediante una conexión de JDBC.
Antes de comenzar
Las plantillas de tareas de Dataplex funcionan con la tecnología de Dataflow. Antes de usar las plantillas, habilita las APIs de Dataflow.
Habilitar las APIs de Dataflow
Plantilla: Transfiere datos a Dataplex con una conexión de JDBC
La plantilla de transferencia de JDBC de Dataplex copia datos de una base de datos relacional en un destino de recursos de Dataplex. El recurso de Dataplex puede ser uno de Cloud Storage o de BigQuery.
Esta canalización usa JDBC para conectarse a la base de datos relacional. Para tener una capa de protección adicional, también puedes pasar una clave de Cloud KMS junto con un nombre de usuario, una contraseña y parámetros de cadena de conexión codificados en Base64 encriptados con la clave de Cloud KMS.
La plantilla maneja con transparencia los diferentes tipos de recursos. Los datos almacenados en el recurso de Cloud Storage son particionados con estilo de Hive, y Discovery de Dataplex hace que esté disponible automáticamente como una tabla en Data Catalog, BigQuery (tabla externa) o una instancia adjunta de Dataproc Metastore.
Parámetros de la plantilla
Parámetro | Descripción |
---|---|
driverJars |
Con comas, separa las rutas de acceso de Cloud Storage para los controladores de JDBC.
Por ejemplo: gs://your-bucket/driver_jar1.jar ,
gs://your-bucket/driver_jar2.jar. |
connectionURL |
La cadena de conexión de URL para conectar a la fuente de JDBC.
Por ejemplo: jdbc:mysql://some-host:3306/sampledb .
Puedes pasar la URL de conexión como texto sin formato o como una string codificada en Base64 encriptada por Cloud KMS. |
driverClassName |
El nombre de la clase del controlador de JDBC.
Por ejemplo: com.mysql.jdbc.Driver . |
connectionProperties |
La cadena de propiedades que se usará para la conexión de JDBC.
Por ejemplo: unicode=true&characterEncoding=UTF-8 . |
query |
La consulta que se ejecutará en la fuente para extraer los datos.
Por ejemplo: select * from sampledb.sample_table . |
outputAsset |
El ID del recurso de salida de Dataplex en el que se almacenan los
resultados. Para el ID, usa el formato projects/your-project/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name></code> . Puedes encontrar el
outputAsset en la consola de Google Cloud, en la
pestaña Detalles del recurso de Dataplex. |
username |
El nombre de usuario que se usará para la conexión de JDBC. Puedes pasar el nombre de usuario como texto sin formato o como una string codificada en Base64 encriptada por Cloud KMS. |
password |
La contraseña que se usará para la conexión de JDBC. Puedes pasar la contraseña como texto sin formato o como una string codificada en Base64 encriptada por Cloud KMS. |
outputTable |
La ubicación de la tabla de BigQuery o el nombre de la carpeta superior de Cloud Storage en la que se escribirá el resultado. Si es una ubicación de tabla de BigQuery, el esquema de la tabla debe coincidir con el esquema de consulta de origen y debe tener el formato some-project-id:somedataset.sometable .
Si se trata de una carpeta superior de Cloud Storage, proporciona el nombre de esa carpeta. |
KMSEncryptionKey |
Si proporcionas el parámetro KMSEncryptionKey , asegúrate de que password , username y connectionURL estén encriptados con Cloud KMS (opcional). Encripta estos parámetros con el extremo de encriptación de la API de Cloud KMS. Por ejemplo, projects/your-project/locations/global/keyRings/test/cryptoKeys/quickstart . |
writeDisposition |
La estrategia que se empleará si existe el archivo o la tabla de destino (opcional). Los formatos admitidos son WRITE_APPEND (se agregarán filas si la tabla existe), WRITE_TRUNCATE (se reemplazará la tabla o el archivo), WRITE_EMPTY (la tabla de salida debe estar vacía o no debe existir el archivo de salida) y SKIP (omitir la escritura en el archivo si existe). Para BigQuery, los formatos permitidos son WRITE_APPEND ,
WRITE_TRUNCATE y WRITE_EMPTY . Para Cloud Storage, los formatos permitidos son SKIP , WRITE_TRUNCATE y WRITE_EMPTY . Valor predeterminado: WRITE_EMPTY .
|
partitioningScheme |
Esquema de partición cuando se escribe el archivo (opcional). El valor predeterminado para este parámetro es DAILY . Otros valores para el parámetro pueden ser MONTHLY o HOURLY . |
partitionColumn |
La columna de partición en la que se basa (opcional). El tipo de columna debe tener el formato timestamp/date . Si no se proporciona el parámetro partitionColumn , los datos no se particionarán. |
fileFormat |
El formato de archivo de salida en Cloud Storage (opcional). Los archivos se comprimen con la configuración predeterminada de compresión Snappy. El valor predeterminado para este parámetro es PARQUET . Otro valor para el parámetro es AVRO . |
updateDataplexMetadata |
Si se deben actualizar los metadatos de Dataplex para las entidades recién creadas (opcional). El valor predeterminado para este parámetro es Si se habilita, la canalización copiará automáticamente el esquema de la fuente a las entidades de destino de Dataplex, y no se ejecutará el descubrimiento automatizado de Dataplex Discovery para ellas. Usa esta marca en los casos en los que hayas administrado un esquema en el origen. Solo es compatible con el destino de Cloud Storage. |
Ejecuta la plantilla
Console
En la consola de Google Cloud, ve a la página de Dataplex:
Navega a la vista Process.
Haz clic en Crear tarea.
En Transferir JDBC a Dataplex, haz clic en Crear tarea.
Elige un lake de Dataplex.
Proporciona un nombre para la tarea.
Elige una región para la ejecución de la tarea.
Completa los parámetros obligatorios.
Haz clic en Continuar.
gcloud
Reemplaza lo siguiente:
JOB_NAME: a job name of your choice PROJECT_ID: your template project ID DRIVER_JARS: path to your JDBC drivers CONNECTION_URL: your JDBC connection URL string DRIVER_CLASS_NAME: your JDBC driver class name CONNECTION_PROPERTIES: your JDBC connection property string QUERY: your JDBC source SQL query OUTPUT_ASSET: your Dataplex output asset ID
En tu shell o terminal, ejecuta la plantilla:
gcloud beta dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_JDBC_Ingestion_Preview \ --parameters \ driverJars=DRIVER_JARS,\ connectionUrl=CONNECTION_URL,\ driverClassName=DRIVER_CLASS_NAME,\ connectionProperties=CONNECTION_PROPERTIES,\ query=QUERY\ outputAsset=OUTPUT_ASSET\
API de REST
Reemplaza lo siguiente:
PROJECT_ID: your template project ID REGION_NAME: region in which to run the job JOB_NAME: a job name of your choice DRIVER_JARS: path to your JDBC drivers CONNECTION_URL: your JDBC connection URL string DRIVER_CLASS_NAME: your JDBC driver class name CONNECTION_PROPERTIES: your JDBC connection property string QUERY: your JDBC source SQL query OUTPUT_ASSET: your Dataplex output asset ID
Envía una solicitud HTTP POST:
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "driverJars": "DRIVER_JARS", "connectionUrl": "CONNECTION_URL", "driverClassName": "DRIVER_CLASS_NAME", "connectionProperties": "CONNECTION_PROPERTIES", "query": "QUERY" "outputAsset": "OUTPUT_ASSET" }, "containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_JDBC_Ingestion_Preview", } }