Programar pipelines

Nesta página, descrevemos como criar uma programação para as execuções do pipeline. Por exemplo, é possível programar um pipeline para ser executado diariamente à 1h UTC.

Antes de começar

Para criar a programação, é preciso ter um pipeline implantado no Cloud Data Fusion. Caso não tenha um, crie um pipeline seguindo o Guia de início rápido.

Para criar, editar ou suspender uma programação, abra o pipeline no Cloud Data Fusion:

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, clique em Instâncias e, em seguida, clique em Visualizar instância.

      Acesse "Instâncias"

  2. Acesse a lista do Cloud Data Fusion.

  3. Na guia Implantado, escolha um pipeline.

    A página Pipeline é aberta, onde é possível criar, editar ou suspender uma programação do pipeline.

Criar a programação

Na página Pipeline do Cloud Data Fusion Studio, clique em Programar.

Use a guia Básico ou Avançado para definir sua programação.

Básico

  1. Na guia Básico, insira as seguintes informações sobre a programação:

    • Frequência, como Every 5 minutes e Repeats every 30 days.
    • Horário de início, em UTC.
    • Máximo de execuções simultâneas: escolha até dez execuções. Se já houver 10 pipelines em execução, a execução programada que você está criando não será executada.
    • Perfil do Compute Engine: escolha um perfil de computação. O padrão é o perfil de computação do Dataproc.

  2. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Avançado

  1. Na guia Avançado, defina sua programação na sintaxe do cron.
  2. No campo Máximo de execuções simultâneas, escolha até dez execuções. Se já houver 10 pipelines em execução, a execução programada que você está criando não será executada.
  3. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Alterar ou suspender a programação

  • É possível alterar, iniciar ou suspender uma programação de pipeline na página Pipeline do Cloud Data Fusion Studio.

  • Para suspender a programação, clique em Cancelar programação.