Usar acionadores

Nesta página, descrevemos como criar e usar um gatilho para o pipeline do Cloud Data Fusion. Você cria um gatilho em um pipeline de dados, chamado de pipeline downstream, para que ele seja executado na conclusão de outro pipeline, chamado de pipeline upstream. Ao criar um gatilho, você escolhe quando o pipeline downstream é executado, quando o pipeline upstream funciona, falha, interrompe ou qualquer combinação dele.

Eles são úteis para:

  • Limpeza de dados uma vez e disponibilidade para vários pipelines downstream
  • compartilhar informações, como argumentos de ambiente de execução e configurações de plug-in, entre pipelines. Isso é chamado de configuração de payload.
  • ter um conjunto de pipelines dinâmicos que podem ser executados usando os dados de hora/dia/semana/mês, em vez de um pipeline estático que precisa ser atualizado para cada execução;

Antes de começar

No Pipeline do pipeline, implante os pipelines que são seus pipelines upstream e downstream.

Opcional: definir argumentos de ambiente de execução para o pipeline upstream

Se você quiser transmitir a configuração do payload como argumentos do ambiente de execução, defina os argumentos do ambiente de execução para o pipeline upstream:

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline upstream. A visualização "Implantar" desse pipeline é exibida.

  2. Clique na seta à direita do botão Executar.

  3. Clique no botão + e preencha a chave e o valor para seu argumento de tempo de execução.

  4. Clique em Save.

Criar um gatilho de entrada em um pipeline downstream

Criar um gatilho no pipeline downstream para que ele seja executado na conclusão do pipeline upstream.

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline downstream. A visualização "Implantar" desse pipeline é exibida.

  2. No lado central esquerdo da página, clique em Acionadores de entrada. Será exibida uma lista de pipelines disponíveis.

  3. Clique no pipeline upstream. Selecione um ou mais estados de conclusão do pipeline upstream (Bem-sucedidos, Falhas ou Paradas) como condição para quando o pipeline downstream será executado.

  4. Se você quiser que o pipeline upstream compartilhe informações (chamada de configuração de payload) com o pipeline downstream, clique em Configuração do gatilho e siga as etapas para . }Transmitir a configuração do payload como argumentos de tempo de execução. Caso contrário, clique em Ativar gatilho.

Transmitir a configuração do payload como argumentos de ambiente de execução

A configuração de payload permite o compartilhamento de informações do pipeline upstream para o pipeline downstream. Essas informações podem ser, por exemplo, o diretório de saída, o formato de dados ou o dia em que o pipeline foi executado. Em seguida, essas informações são usadas pelo pipeline downstream para decisões como determinar o conjunto de dados certo para ler.

Para transmitir informações do pipeline upstream ao pipeline downstream, defina os argumentos de tempo de execução do pipeline downstream com os valores dos argumentos de ambiente de execução ou a configuração de qualquer plug-in no pipeline upstream.

Sempre que o pipeline downstream é executado (é acionado), a configuração do payload é definida usando os argumentos do ambiente de execução do execução específica do pipeline upstream que acionou o pipeline downstream.

Para transmitir a configuração do payload como argumentos do ambiente de execução:

  1. Continue de onde você parou na seção Como criar um gatilho de entrada, depois de clicar em Configuração do gatilho, todos os argumentos de ambiente de execução que você definiu anteriormente do pipeline upstream. Selecione os argumentos de ambiente de execução que você quer transmitir do pipeline upstream para o pipeline downstream quando o gatilho for executado.

  2. Clique na guia Configuração do plug-in para ver uma lista do que será transmitido do pipeline upstream para o pipeline downstream quando for acionado.

  3. Clique em Configurar e ativar gatilho.

Testar o gatilho de pipeline downstream

Para testar seu bot, siga estas etapas:

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline upstream. A visualização "Implantar" desse pipeline é exibida.

  2. Clique em Executar.

  3. Aguarde a conclusão da execução do pipeline upstream. Na visualização Lista, navegue até o pipeline downstream. Você o verá em execução, como resultado do gatilho criado.