Programa tareas personalizadas de Spark y Spark SQL

Dataplex admite la programación de la ejecución de código personalizado, ya sea como una ejecución única, en un programa regular o a pedido. La función On-demand está en versión preliminar y solo está disponible a través de la API. Puedes programar transformaciones de datos del cliente con Spark (Java), PySpark (limitado a la versión 3.2 de Spark) o Spark SQL. Dataplex ejecuta el código con el procesamiento de Spark sin servidores y un programador sin servidores integrado.

Terminología

Tarea
Una tarea de Dataplex representa el trabajo que deseas que Dataplex realice de forma programada. Encapsula tu código, tus parámetros y la programación.
Trabajo

Un trabajo representa una sola ejecución de una tarea de Dataplex. Por ejemplo, si una tarea está programada para ejecutarse todos los días, Dataplex creará un trabajo todos los días.

En el caso de los trabajos creados a partir del 10 de mayo de 2023, el campo Activador muestra el tipo de activador de ejecución del trabajo.

Los siguientes son los tipos de activadores de ejecución de trabajos:

  • RUN_REQUEST: Indica que la tarea se ejecutó debido a que se llamó a la API de RunTask.

  • TASK_CONFIG: Indica que la tarea se ejecutó debido a la configuración de TriggerSpec de la tarea.

Modos de programación

Dataplex admite los siguientes modos de programación:

Ejecutar una vez
Usa este modo para ejecutar la tarea solo una vez. Puedes elegir ejecutarlo de inmediato o en un horario determinado en el futuro. Si ejecutas la tarea de inmediato, es posible que la ejecución tarde hasta dos minutos en comenzar.
Ejecutar según una programación
Usa este modo para ejecutar la tarea con una frecuencia repetida. Las repeticiones admitidas son diarias, semanales, mensuales o personalizadas.
Ejecutar a pedido

Usa este modo para ejecutar una tarea creada anteriormente a pedido. El modo de ejecución a pedido solo es compatible con la API de RunTask. Cuando tu trabajo se ejecuta a pedido, Dataplex usa los parámetros existentes para crearlo. Puedes especificar los argumentos ExecutionSpec y las etiquetas para ejecutar el trabajo.

Antes de comenzar

  1. Habilita la API de Dataproc

    Habilita la API de Dataproc

  2. Habilita el Acceso privado a Google para tu red y subred. Habilita el Acceso privado a Google en la red que usas con las tareas de Dataplex. Si no especificas una red ni una subred cuando creas la tarea de Dataplex, Dataplex usa la subred predeterminada y debes habilitar el Acceso privado a Google para la subred predeterminada.

  3. Crea una cuenta de servicio. Se requiere una cuenta de servicio para programar tareas de Dataplex. La cuenta de servicio debe pertenecer al proyecto en el que ejecutas las tareas. La cuenta de servicio debe tener los siguientes permisos:

    • Acceso a los datos de BigQuery y Cloud Storage que se están procesando

    • El permiso de Rol de trabajador de Dataproc en el proyecto en el que ejecutas la tarea

    • Si la tarea necesita leer o actualizar la instancia de Dataproc Metastore adjunta al lago, la cuenta de servicio necesita el rol de visualizador o editor de Dataproc Metastore. Este rol se debe otorgar en el proyecto en el que se configuró el lago de Dataplex.

    • Si la tarea es un trabajo de Spark SQL, debes otorgarle a la cuenta de servicio el rol de desarrollador de Dataplex. Este rol se debe otorgar en el proyecto en el que se configuró el lake de Dataplex.

    • Si la tarea es un trabajo de Spark SQL, necesitas permisos de administrador de Cloud Storage en el bucket en el que se escriben los resultados.

    • Para programar y ejecutar Spark SQL y tareas personalizadas de Spark, debes tener los roles de IAM de lector de metadatos de Dataplex (roles/dataplex.metadataReader), visualizador de Dataplex (roles/dataplex.viewer) y usuario de metadatos de Metastore de Dataproc (roles/metastore.metadataUser) en tu cuenta de servicio.

  4. Otorga al usuario que envía el trabajo el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio. Para obtener instrucciones, consulta Administra el acceso a las cuentas de servicio.

  5. Otorga permisos a la cuenta de servicio del lake de Dataplex para usar la cuenta de servicio. Puedes encontrar la cuenta de servicio del lake de Dataplex en la página Detalles del lago de la consola de Google Cloud.

  6. Si el proyecto que contiene tu lago de Dataplex es diferente al proyecto en el que se ejecutará la tarea, otorga a la cuenta de servicio del lago de Dataplex el rol de editor de Dataproc en el proyecto en el que ejecutas la tarea.

  7. Coloca los artefactos de código necesarios (archivos JAR, Python o de secuencia de comandos de SQL) o los archivos archivados (.jar, .tar, .tar.gz, .tgz, .zip) en una ruta de acceso de Cloud Storage.

  8. Asegúrate de que la cuenta de servicio tenga el permiso storage.objects.get requerido para el bucket de Cloud Storage que almacena estos artefactos de código.

Programa una tarea de Spark (Java o Python)

Console

  1. En la consola de Google Cloud, ve a la página de Dataplex.

    Ir a Dataplex

  2. Navega a la vista Process.

  3. Haz clic en Crear tarea.

  4. En Crear tarea de Spark personalizada, haz clic en Crear tarea.

  5. Elige un lake de Dataplex.

  6. Proporciona un nombre para la tarea.

  7. Crea un ID para tu tarea.

  8. En la sección Configuración de la tarea, en Tipo, selecciona Spark o PySpark.

  9. Ingresa los argumentos relevantes.

  10. En el campo Cuenta de servicio, ingresa una cuenta de servicio de usuario con la que se pueda ejecutar tu tarea personalizada de Spark.

  11. Haz clic en Continuar.

  12. Opcional: Establecer programación: Selecciona Ejecutar una vez o Repetir. Completa los campos obligatorios.

  13. Haz clic en Continuar.

  14. Opcional: Personaliza los recursos y Agrega parámetros de configuración adicionales.

  15. Haz clic en Crear.

gcloud

Puedes programar una tarea de Spark (Java o Python) con el comando de la CLI de gcloud. En la siguiente tabla, se enumeran los parámetros obligatorios y opcionales que se deben usar:

Parámetro Descripción
--lake El ID del lake para el recurso del lake del servicio de Dataplex.
--location La ubicación del servicio de Dataplex
--spark-main-class Es la clase principal del controlador. El archivo jar que contiene la clase debe estar en el CLASSPATH predeterminado.
--spark-main-jar-file-uri El URI de Cloud Storage del archivo jar que contiene la clase principal.
--spark-archive-uris Opcional: Son los URIs de Cloud Storage de los archivos que se extraerán en el directorio de trabajo de cada ejecutor. Tipos de archivos compatibles: .jar, .tar, .tar.gz, .tgz y .zip.
--spark-file-uris Opcional: Los URIs de Cloud Storage de los archivos que se colocarán en el directorio de trabajo de cada ejecutor.
--batch-executors-count Opcional: Es la cantidad total de ejecutores de trabajos. El valor predeterminado es 2.
--batch-max-executors-count Opcional: Es la cantidad máxima de ejecutores configurables. El valor predeterminado es 1,000. Si batch-max-executors-count es mayor que batch-executors-count, Dataplex habilita el ajuste de escala automático.
--container-image-java-jars Opcional: Es una lista de archivos JAR de Java que se agregarán a la ruta de acceso de clases. La entrada válida incluye URIs de Cloud Storage para objetos binarios de Jar.
Por ejemplo, gs://bucket-name/my/path/to/file.jar.
--container-image-properties Opcional: Claves de propiedad, especificadas en un formato prefix:property.
Por ejemplo, core:hadoop.tmp.dir.
Para obtener más información, consulta Propiedades del clúster.
--vpc-network-tags Opcional: Es una lista de etiquetas de red que se aplicarán al trabajo.
--vpc-network-name Opcional: Es la red de nube privada virtual en la que se ejecuta la tarea. De forma predeterminada, Dataplex usa la red de VPC llamada Default dentro del proyecto.
Debes usar solo una de las siguientes opciones: --vpc-network-name o --vpc-sub-network-name.
--vpc-sub-network-name Opcional: Es la subred de VPC en la que se ejecuta el trabajo.
Solo debes usar una de las opciones --vpc-sub-network-name o --vpc-network-name.
--trigger-type Es el tipo de activador de la tarea especificada por el usuario. Los valores deben ser uno de los siguientes:
ON_DEMAND: La tarea se ejecuta una vez poco después de su creación.
RECURRING: La tarea se ejecuta periódicamente según un programa.
--trigger-start-time Opcional: Es la hora de la primera ejecución de la tarea. El formato es "{year}-{month}-{day}T{hour}:{min}:{sec}Z", en el que la zona horaria es UTC. Por ejemplo, "2017-01-15T01:30:00Z" codifica la hora 01:30 UTC del 15 de enero de 2017. Si no se especifica este valor, la tarea se ejecutará después de enviarse si el tipo de activador es ON_DEMAND o en el programa especificado si el tipo de activador es RECURRING.
--trigger-disabled Opcional: Evita que se ejecute la tarea. Este parámetro no cancela las tareas que ya se están ejecutando, sino que inhabilita temporalmente las tareas de RECURRING.
--trigger-max-retires Opcional: Es la cantidad de reintentos antes de abortar. Establece el valor en cero para que nunca se intente reintentar una tarea que falló.
--trigger-schedule Programación de cron para ejecutar tareas de forma periódica.
--description Opcional: Descripción de la tarea.
--display-name Opcional: Es el nombre visible de la tarea.
--labels Opcional: Es la lista de pares KEY=VALUE de etiquetas que se agregarán.
--execution-args Opcional: Los argumentos que se pasarán a la tarea. Los argumentos pueden ser una combinación de pares clave-valor. Puedes pasar una lista de pares clave-valor separados por comas como argumentos de ejecución. Para pasar argumentos posicionales, establece la clave en TASK_ARGS y el valor en una cadena de todos los argumentos posicionales separados por comas. Para usar un delimitador que no sea una coma, consulta cómo escapar.
En caso de que se pasen key-value y los argumentos posicionales juntos, TASK_ARGS se pasará como el último argumento.
--execution-service-account Es la cuenta de servicio que se usará para ejecutar una tarea.
--max-job-execution-lifetime Opcional: Es la duración máxima antes de que venza la ejecución del trabajo.
--container-image Opcional: Imagen de contenedor personalizada para el entorno de ejecución del trabajo. Si no se especifica, se usará una imagen de contenedor predeterminada.
--kms-key Opcional: La clave de Cloud KMS que se usará para la encriptación, en el formato:
projects/{project_number}/locations/{location_id}/keyRings/{key-ring-name}/cryptoKeys/{key-name}

Ejemplo de Java:

glcoud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --trigger-type=ON_DEMAND spark-main-jar-file-uri=<gcs location to java file> --execution-service-account=<service-account-email> --trigger-start-time=<timestamp after which job starts ex. 2099-01-01T00:00:00Z> --labels=key1=value1,key2=value3,key3=value3 --execution-args=arg1=value1,arg2=value3,arg3=value3 <task-id>

Ejemplo de PySpark:

gcloud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --trigger-type=RECURRING --trigger-schedule=<Cron schedule https://en.wikipedia.org/wiki/Cron> --spark-python-script-file=<gcs location to python script> --execution-service-account=<service-account-email> --execution-args=^::^arg1=value1::arg2=value2::TASK_ARGS="pos-arg1, pos-arg2" <task-id>

REST

Para crear una tarea, usa el Explorador de APIs.

Programa una tarea de Spark SQL

gcloud

Para programar una tarea de Spark SQL, ejecuta el mismo comando de gcloud CLI que en Cómo programar una tarea de Spark (Java o Python), con los parámetros adicionales que se indican a continuación:

Parámetro Descripción
--spark-sql-script El texto de la consulta de SQL. Se requiere spark-sql-script o spark-sql-script-file.
--spark-sql-script-file Es una referencia a un archivo de consulta. Este valor puede ser el URI de Cloud Storage del archivo de consulta o la ruta de acceso al contenido de la secuencia de comandos de SQL. Se requiere spark-sql-script o spark-sql-script-file.
--execution-args Para las tareas de Spark SQL, los siguientes argumentos son obligatorios y deben pasarse como argumentos posicionales:
--output_location, <GCS uri of the output directory>
--output_format, <output file format>.
Los formatos compatibles son archivo CSV, archivo JSON, parquet y orc.
gcloud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --execution-service-account=<service-account-email> --trigger-type=ON_DEMAND --spark-sql-script=<sql-script> --execution-args=^::^TASK_ARGS="--output_location, <gcs folder location>, --output_format, json" <sql-task-id>

REST

Para crear una tarea, usa el Explorador de APIs.

Supervisa tu tarea

Console

  1. En la consola de Google Cloud, ve a la página de Dataplex:

    Ir a Dataplex

  2. Navega a la vista Process.

  3. En la pestaña Tasks, hay una lista de tareas, filtrada por tipos de plantillas de tareas.

  4. En la columna Nombre, haz clic en cualquier tarea que desees ver.

  5. Haz clic en el ID del trabajo de la tarea que deseas ver.

    Se abrirá la página de Dataproc en la consola de Google Cloud, que te permitirá ver los detalles de supervisión y salida.

gcloud

En la siguiente tabla, se enumeran los comandos de la CLI de gcloud para supervisar tus tareas.

Acción Comando de gcloud CLI
Tareas de creación de fichas gcloud dataplex tasks list --project=<project-name> --location=<location> --lake=<lake-id>
Cómo ver los detalles de la tarea gcloud dataplex tasks describe --project=<project-name> --location=<location> --lake=<lake-id> <task-id>
Cómo enumerar trabajos de una tarea gcloud dataplex tasks jobs list --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id>
Cómo ver los detalles de un trabajo gcloud dataplex tasks jobs describe --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id>

Dataplex ejecuta trabajos en Dataproc sin servidores (lotes). Para ver los registros de ejecución de un trabajo de Dataplex, sigue estos pasos:

  1. Obtén el ID del trabajo de Dataproc Serverless (por lotes). Ejecuta el siguiente comando:

    gcloud dataplex tasks jobs describe --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id>
    
  2. Consulta los registros. Ejecuta el siguiente comando con el ID de trabajo que obtuviste cuando ejecutaste el comando anterior:

    gcloud beta dataproc batches wait --project=<project-name> --region=<location> <job-id>
    

REST

Para get o list una tarea o un trabajo, usa el Explorador de APIs.

Administra la programación

En la consola de Google Cloud, en Dataplex, puedes editar el programa de una tarea, borrarla o cancelar una tarea en curso. En la siguiente tabla, se enumeran los comandos de la CLI de gcloud para estas acciones.

Acción Comando de gcloud CLI
Edita la programación de tareas gcloud dataplex tasks update --project=<project-name> --location=<location> --lake=<lake-id> --trigger-schedule=<updated-schedule> <task-id>
Cómo borrar una tarea gcloud dataplex tasks delete --project=<project-name> --location=<location> --lake=<lake-id> <task-id>
Cancelar un trabajo gcloud dataplex tasks jobs cancel --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id>

¿Qué sigue?