Descripción general de plantillas de flujo de trabajo de Cloud Dataproc

La API de plantillas de flujo de trabajo de Cloud Dataproc proporciona un mecanismo fácil de usar y flexible para administrar y ejecutar flujos de trabajo. Una plantilla de flujo de trabajo es una configuración reutilizable de flujo de trabajo. Define un grafo de trabajos con información sobre dónde ejecutar esos trabajos.

Puntos clave:

  • La creación de una instancia de una plantilla de trabajo inicia un flujo de trabajo. Un flujo de trabajo es una operación que ejecuta un grafo acíclico dirigido (DAG) en trabajos de un clúster. Si el flujo de trabajo usa un clúster administrado, crea el clúster, ejecuta los trabajos y, luego, borra el clúster cuando finalizan los trabajos.
  • Si el flujo de trabajo usa un selector de clúster, ejecuta trabajos en un clúster seleccionado existente.
  • Los flujos de trabajo son ideales para flujos de trabajo complejos. Puedes crear dependencias de trabajo de manera tal que un trabajo comience solo después de que las dependencias se completen con éxito.
  • La creación de una plantilla de flujo de trabajo no crea un clúster de Cloud Dataproc ni envía trabajos. Los clústeres y trabajos asociados con los flujos de trabajo se crean cuando se crea una instancia de plantilla de flujo de trabajo.

Tipos de plantillas de flujo de trabajo

Clúster administrado

Una plantilla de flujo de trabajo puede especificar un clúster administrado. El flujo de trabajo creará este clúster “efímero” para ejecutar trabajos de flujo de trabajo y, luego, borrar el clúster cuando finalice el flujo de trabajo.

Selector de clústeres

Una plantilla de flujo de trabajo puede especificar un clúster existente en el que ejecutar trabajos de flujo de trabajo mediante la especificación de una o más etiquetas de usuario que se aplicaron antes a uno o más clústeres. El flujo de trabajo se ejecutará en un clúster que coincida con todas las etiquetas especificadas. Si muchos clústeres coinciden con las etiquetas, Cloud Dataproc seleccionará el clúster con la mayor disponibilidad de memoria YARN para ejecutar todos los trabajos de flujo de trabajo. Al final del flujo de trabajo, el clúster seleccionado no se borra. Consulta, Usa selectores de clúster con flujos de trabajo para obtener más información.

Parametrizado

Si quieres ejecutar una plantilla de flujo de trabajo muchas veces con valores diferentes, puedes evitar la edición de la plantilla en cada ejecución si defines parámetros en la plantilla y, luego, pasas valores diferentes para los parámetros en cada ejecución. Consulta Parametrización de plantillas de flujo de trabajo para obtener más información.

Intercalado

Se pueden crear instancias de flujos de trabajo intercaladas mediante el comando de gcloud con archivos YAML de plantillas de flujo de trabajo o mediante una llamada a la API de InstantiateInline de Cloud Dataproc. Los flujos de trabajo intercalados no crean o modifican los recursos de las plantillas de flujo de trabajo.

Casos prácticos de plantillas de flujo de trabajo

  • Automatización de tareas repetitivas. Los flujos de trabajo encapsulan las configuraciones y los trabajos de clúster de uso frecuente.

  • Modelo de interacción de la API transaccional, enviar y olvidar Las plantillas de flujo de trabajo reemplazan los pasos involucrados en un flujo típico como crear el clúster, enviar trabajos, sondear y borrar el clúster. Usan un token único para rastrear el proceso desde la creación hasta la eliminación del clúster y automatizan el controlador de errores y la recuperación. También simplifican la integración de Cloud Dataproc con otras herramientas, como Cloud Functions y Cloud Composer.

  • Asistencia para clústeres longevos y efímeros. Una complejidad común asociada con la ejecución de Apache Hadoop ajusta y acomoda el tamaño correcto de los clústeres. Los clústeres efímeros (administrados) son más fáciles de configurar debido a que ejecutan un solo flujo de trabajo. Los selectores de clúster se pueden usar con clústeres longevos para ejecutar varias veces la misma carga de trabajo sin incurrir en el costo amortizado de crear y borrar clústeres.

  • Seguridad de IAM detallada. La creación de clústeres de Cloud Dataproc y el envío de trabajos requieren permisos de IAM de todo o nada. Las plantillas de flujo de trabajo usan un permiso workflowTemplates.instantiate por plantilla y no dependen de permisos de clúster o trabajo.

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Documentación de Cloud Dataproc
Si necesitas ayuda, visita nuestra página de asistencia.