Programar pipelines

Nesta página, você verá como criar uma programação para as execuções de pipeline. Por exemplo, é possível programar um pipeline para ser executado diariamente à 1h UTC.

Antes de começar

Para criar a programação, é preciso ter um pipeline implantado no Cloud Data Fusion. Caso não tenha um, crie um pipeline seguindo o Guia de início rápido.

Para criar, editar ou suspender uma programação, abra o pipeline no Cloud Data Fusion:

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância na interface da Web do Cloud Data Fusion, clique em Instâncias e depois em Ver instância.

      Acesse "Instâncias"

  2. Acesse a lista do Cloud Data Fusion.

  3. Na guia Implantação, selecione o pipeline desejado.

    A página Pipeline é aberta, onde é possível criar, editar ou suspender uma programação do pipeline.

Criar a programação

Na página Pipeline na IU do Cloud Data Fusion, clique em Programar.

Use a guia Básico ou Avançado para definir sua programação. A guia Avançado permite definir programações complexas usando o formato unix-cron.

Básico

  1. Na guia Básico, digite as seguintes informações sobre sua programação:

    • Frequência
    • Horário de início, especificado em UTC.
    • Opcional: data
    • Máximo de execuções simultâneas (até dez execuções). Se já houver dez pipelines em execução, a execução program da que você está criando não será executada.
    • Opcional: perfil do Compute Engine. Se você deixar esse campo em branco, será usado o perfil padrão do Dataproc.

  2. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Avançado

  1. Na guia Avançado, defina sua programação usando o formato unix-cron.

    É possível programar seus pipelines para serem executados várias vezes por dia ou em dias e meses específicos.

    A tabela a seguir mostra os possíveis valores para os campos de data e hora:

    Campo Valores válidos
    Minuto 0-59
    Hora 0-23
    Dia do mês 1-31
    Mês 1-12
    Dia da semana 0-6 (domingo é 0, segunda-feira é 1)

  2. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Alterar ou suspender a programação

É possível alterar ou suspender uma programação de pipeline na página Pipeline na IU do Cloud Data Fusion.

  • Para alterar a programação, clique em Configurar e atualize os campos.

  • Para suspender a programação, clique em Cancelar programação.