Esta secção descreve as Google Cloud opções que pode usar para agendar fluxos de trabalho.
Modelos de fluxo de trabalho do Dataproc
Os modelos de fluxo de trabalho do Dataproc oferecem um mecanismo flexível e fácil de usar para gerir e executar fluxos de trabalho. Um modelo de fluxo de trabalho é uma configuração de fluxo de trabalho reutilizável. Define um gráfico de tarefas com informações sobre onde executar essas tarefas.
Cloud Scheduler
O Cloud Scheduler é um programador de tarefas cron de nível empresarial totalmente gerido. Permite-lhe agendar praticamente qualquer tarefa, incluindo tarefas em lote, de Big Data e operações de infraestrutura na nuvem. Oferece uma programação simples baseada no tempo, por exemplo, diária ou de hora em hora, sem ter de escrever código.
Vantagens:
Permite a instanciação baseada no tempo de modelos de fluxo de trabalho com base em expressões cron familiares
Sem código para escrever
Tutorial: fluxo de trabalho com o Cloud Scheduler
Cloud Functions
As funções do Cloud Run são uma solução de computação simples que pode usar para criar funções autónomas de finalidade única que respondem a eventos do Google Cloud sem ter de gerir um servidor ou um ambiente de tempo de execução. Pode usar as funções do Cloud Run para iniciar fluxos de trabalho em resposta a eventos do Pub/Sub ou a alterações de ficheiros no Cloud Storage. Pode usar funções do Cloud Run com o Cloud Scheduler para fluxos de trabalho que exijam o cálculo de parâmetros baseados no tempo.
Vantagens:
Permite a instanciação do fluxo de trabalho em resposta a eventos de dados, como novos ficheiros no Cloud Storage ou eventos do Pub/Sub.
Programação mínima necessária com as bibliotecas cliente Go, Node.js ou Python do Dataproc
Gere dinamicamente fluxos de trabalho e parâmetros de fluxo de trabalho
Tutorial: fluxo de trabalho com funções do Cloud Run
Cloud Composer
O Cloud Composer é um serviço Apache Airflow gerido que pode usar para criar, agendar, monitorizar e gerir fluxos de trabalho.
Vantagens:
Suporta agendamento com base no tempo e em eventos
Chamadas simplificadas para o Dataproc através de operadores
Gere dinamicamente fluxos de trabalho e parâmetros de fluxo de trabalho
Crie fluxos de dados que abranjam vários Google Cloud produtos
Tutorial: fluxo de trabalho com o Cloud Composer