Programar pipelines

Esta página descreve como criar uma programação para as execuções de pipeline. Por exemplo, é possível programar um pipeline para ser executado diariamente à 1h UTC.

Antes de começar

Para criar a programação, é preciso ter um pipeline implantado no Cloud Data Fusion. Caso não tenha um, crie um pipeline seguindo o Guia de início rápido.

Para criar, editar ou suspender uma programação, abra o pipeline no Cloud Data Fusion:

  1. Acesse sua instância:

    1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Studio do Cloud Data Fusion, Clique em Instâncias e depois em Visualizar instância.

      Acesse "Instâncias"

  2. Acesse a lista do Cloud Data Fusion.

  3. Na guia Implantado, escolha um pipeline.

    A página Pipeline é aberta, onde é possível criar, editar ou suspender uma programação do pipeline.

Criar a programação

Na página Pipeline do Cloud Data Fusion Studio, clique em Programar.

Use a guia Básico ou Avançado para definir sua programação.

Básico

  1. Na guia Básico, digite as seguintes informações sobre sua programação:

    • Frequência, como Every 5 minutes e Repeats every 30 days.
    • Horário de início, em UTC.
    • Máximo de execuções simultâneas: escolha até dez execuções. Se já houver dez pipelines em execução, a execução programada que você está criando não correr.
    • Perfil do Compute Engine: escolha um perfil de computação. O padrão é Perfil de computação do Dataproc.
  2. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Avançado

  1. Na guia Avançado, defina sua programação na sintaxe do cron.
  2. No campo Máximo de execuções simultâneas, escolha até dez execuções. Se já existem dez pipelines em execução, a execução programada que você está criando não correr.
  3. Clique em Salvar e iniciar programação (ou Salvar programação, se quiser iniciá-la mais tarde).

Alterar ou suspender a programação

  • É possível alterar, iniciar ou suspender uma programação de pipeline em Pipeline no Studio do Cloud Data Fusion.

  • Para suspender a programação, clique em Cancelar programação.