Agende pipelines

Esta página descreve como criar uma programação para as execuções da pipeline. Por exemplo, pode agendar um pipeline para ser executado diariamente às 01:00 UTC.

Antes de começar

Para criar a programação, tem de ter um pipeline implementado no Cloud Data Fusion. Se não tiver uma, pode criar um pipeline seguindo o Início rápido.

Para criar, editar ou suspender uma agenda, abra o pipeline no Cloud Data Fusion:

  1. Aceda à sua instância:

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

  2. Aceda à página Lista do Cloud Data Fusion.

  3. No separador Implementado, escolha um pipeline.

    A página Pipeline é aberta, onde pode criar, editar ou suspender uma agenda para a sua pipeline.

Crie a programação

Na página Pipeline no Cloud Data Fusion Studio, clique em Agendar.

Pode usar o separador Básico ou Avançado para definir a sua programação.

Básico

  1. No separador Básico, introduza as seguintes informações sobre o seu horário:

    • Frequência, como Every 5 minutes e Repeats every 30 days.
    • Hora de início, em UTC.
    • Execuções simultâneas máximas: escolha até dez execuções. Se já existirem dez pipelines em execução, a execução agendada que está a criar não é executada.
    • Perfil do Compute Engine: escolha um perfil de computação. A predefinição é o perfil de computação do Dataproc.
  2. Clique em Guardar e iniciar agendamento (ou Guardar agendamento, se quiser iniciá-lo mais tarde).

Avançado

  1. No separador Avançadas, defina a sua programação na sintaxe cron.
  2. No campo Execuções simultâneas máximas, escolha até dez execuções. Se já existirem dez pipelines em execução, a execução agendada que está a criar não é executada.
  3. Clique em Guardar e iniciar agendamento (ou Guardar agendamento, se quiser iniciá-lo mais tarde).

Altere ou suspenda a programação

  • Pode alterar, iniciar ou suspender uma programação de pipeline na página Pipeline no Cloud Data Fusion Studio.

  • Para suspender a programação, clique em Desagendar.