Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
En esta sección, se describen las opciones de Google Cloud que puedes usar para programar flujos de trabajo.
Plantillas de flujo de trabajo de Dataproc
Las plantillas de flujos de trabajo de Dataproc brindan un mecanismo flexible y fácil de usar para administrar y ejecutar flujos de trabajo. Una plantilla de flujo de trabajo es una configuración reutilizable de flujo de trabajo. Define un grafo de trabajos con información sobre dónde ejecutar esos trabajos.
Cloud Scheduler
Cloud Scheduler es un programador de trabajos cron de nivel empresarial completamente administrado.
Te permite programar casi cualquier trabajo, desde trabajos por lotes y de macrodatos hasta operaciones de infraestructura de Cloud. Proporciona una programación sencilla basada en el tiempo, por ejemplo, diaria o por hora, sin que tengas que escribir código.
Ventajas:
Habilita la creación de instancias de plantillas de flujo de trabajo basadas en el tiempo y en expresiones cron conocidas
Cloud Run Functions es una solución de procesamiento ligera que puedes usar para crear funciones independientes y de un solo propósito que respondan a eventos de Cloud sin tener que administrar un servidor o un entorno de ejecución. Puedes usar Cloud Run Functions para iniciar Workflows en respuesta a eventos de Pub/Sub o cambios en los archivos en Cloud Storage. Puedes usar Cloud Run Functions con Cloud Scheduler para flujos de trabajo que requieran el cálculo de parámetros basados en el tiempo.
Ventajas:
Habilita la creación de instancias de flujo de trabajo en respuesta a eventos de datos, como archivos nuevos en eventos de Cloud Storage o Pub/Sub.
Se requiere una codificación mínima con las bibliotecas cliente de Go, Node.js o Python de Dataproc.
Genera flujos de trabajo y parámetros de flujo de trabajo de forma dinámica
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eDataproc Workflow Templates offer a reusable configuration for defining and executing a graph of jobs within workflows.\u003c/p\u003e\n"],["\u003cp\u003eCloud Scheduler is a managed cron job scheduler enabling time-based scheduling of workflows without the need to write any code.\u003c/p\u003e\n"],["\u003cp\u003eCloud Run functions allow for workflow instantiation in response to events like new files in Cloud Storage or Pub/Sub events, requiring minimal coding.\u003c/p\u003e\n"],["\u003cp\u003eCloud Composer is a managed Apache Airflow service that supports both time- and event-based scheduling, offering dynamic workflow generation and integration across various Google Cloud products.\u003c/p\u003e\n"]]],[],null,["This section describes Google Cloud options you can use to schedule\nworkflows.\n\nDataproc Workflow Templates\n\nDataproc [Workflow templates](/dataproc/docs/concepts/workflows/overview)\nprovide a flexible and easy-to-use mechanism for managing and executing workflows. A Workflow Template is a reusable workflow configuration. It defines a graph of jobs with information on where to run those jobs.\n\nCloud Scheduler\n\nCloud Scheduler is a fully managed enterprise-grade cron job scheduler.\nIt allows you to schedule virtually any job, including batch, big data jobs,\nand Cloud infrastructure operations. It provides simple time-based\nscheduling, for example, daily or hourly, without requiring you to write code.\n\n**Advantages:**\n\n- Enables time-based instantiation of workflow templates based on familiar\n cron expressions\n\n- No code to write\n\nTutorial: [Workflow using Cloud Scheduler](/dataproc/docs/tutorials/workflow-scheduler)\n\nCloud Functions\n\nCloud Run functions is a lightweight compute solution you can use to create\nsingle-purpose, stand-alone functions that respond to Cloud events without\nthe need to manage a server or runtime environment. You can use\nCloud Run functions to launch Workflows in response to Pub/Sub\nevents or file changes in Cloud Storage. You can use Cloud Run functions\nwith Cloud Scheduler for workflows that require the calculation of\ntime-based parameters.\n\n**Advantages:**\n\n- Enables workflow instantiation in response to data events, such as new files in\n Cloud Storage or Pub/Sub events.\n\n- Minimal coding required using Dataproc\n [Go](https://github.com/googleapis/google-cloud-go),\n [Node.js](https://github.com/googleapis/google-cloud-node), or\n [Python](https://github.com/googleapis/google-cloud-python)\n client libraries\n\n- Dynamically generate workflows and workflow parameters\n\nTutorial: [Workflow using Cloud Run functions](/dataproc/docs/tutorials/workflow-function)\n\nCloud Composer\n\nCloud Composer is a managed Apache Airflow service you can use\nto create, schedule, monitor, and manage workflows.\n\n**Advantages:**\n\n- Supports time- and event-based scheduling\n\n- Simplified calls to Dataproc using Operators\n\n- Dynamically generate workflows and workflow parameters\n\n- Build data flows that span multiple Google Cloud products\n\nTutorial: [Workflow using Cloud Composer](/dataproc/docs/tutorials/workflow-composer)"]]
