Como usar gatilhos

Nesta página, descrevemos como criar e usar um gatilho para seu pipeline do Cloud Data Fusion. Crie um acionador em um pipeline de dados, chamado de pipeline downstream, para que ele seja executado na conclusão de outro pipeline, denominado pipeline upstream. Ao criar um acionador, você escolhe quando o pipeline downstream é executado: quando a execução do pipeline upstream é bem-sucedida, falha, interrompe ou qualquer combinação deles.

Os acionadores são úteis para:

  • limpar os dados uma vez e disponibilizá-los em vários pipelines downstream;
  • Compartilhamento de informações, como argumentos de ambiente de execução e configurações de plug-in, entre pipelines Isso é chamado de configuração de payload.
  • Ter um conjunto de pipelines dinâmicos que podem ser executados usando os dados de hora/dia/semana/mês, em vez de um pipeline estático que precisa ser atualizado para cada execução.

Antes de começar

No Pipeline do Dataflow, implante os pipelines que são seus pipelines upstream e downstream.

(Opcional) Definir argumentos de ambiente de execução para o pipeline upstream

Se você quiser transmitir a configuração de payload como argumentos de ambiente de execução, defina esses argumentos para o pipeline upstream:

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline upstream. A visualização "Implantar" desse pipeline é exibida.

  2. Clique na seta à direita do botão Executar.

  3. Clique no botão + e preencha Key e Value para o argumento de tempo de execução.

  4. Clique em Save.

Criar um acionador de entrada em um pipeline downstream

Criar um acionador no pipeline downstream para que ele seja executado na conclusão do pipeline upstream.

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline downstream. A visualização "Implantar" desse pipeline é exibida.

  2. No lado esquerdo da página, clique em Acionadores de entrada. Uma lista de pipelines disponíveis será exibida.

  3. Clique no pipeline upstream. Selecione um ou mais dos estados de conclusão de pipeline upstream (Succeeds, Fails ou Stops) como a condição para quando o pipeline downstream será executado.

  4. Se você quiser que o pipeline upstream compartilhe informações (chamadas de configuração de payload) com o pipeline downstream, clique em Configuração do acionador e siga as etapas para {101. }Transmitir a configuração de payload como argumentos de tempo de execução. Caso contrário, clique em Ativar gatilho.

Passar a configuração de payload como argumentos de tempo de execução

A configuração de payload permite o compartilhamento de informações do pipeline upstream para o pipeline downstream. Essas informações podem ser, por exemplo, o diretório de saída, o formato de dados ou o dia em que o pipeline foi executado. Essas informações são usadas pelo pipeline downstream para decisões, como determinar o conjunto de dados certo para ler.

Para transmitir informações do pipeline upstream para o pipeline downstream, defina os argumentos de ambiente de execução do pipeline downstream com os valores dos argumentos de ambiente de execução ou a configuração de qualquer plug-in no pipeline upstream.

Sempre que o pipeline downstream é executado (é acionado), a configuração de payload é definida usando os argumentos de ambiente de execução da execução específica do pipeline upstream, que acionou o pipeline downstream.

Para passar a configuração de payload como argumentos de tempo de execução:

  1. Continuar de onde você parou na seção Como criar um acionador de entrada, depois de clicar em Configuração do acionador, qualquer argumento de ambiente de execução que você definido anteriormente para o pipeline upstream será exibida. Selecione os argumentos do ambiente de execução que você quer passar do pipeline upstream para o pipeline downstream quando esse acionador é executado.

  2. Clique na guia Configuração do plug-in para ver uma lista do que será transmitido do pipeline upstream para o pipeline downstream quando ele for acionado.

  3. Clique em Configurar e ativar gatilho.

Testar o gatilho de pipeline downstream

Para testar seu gatilho, siga estas etapas:

  1. Acesse a página Lista. Na guia Implantação, clique no nome do pipeline upstream. A visualização "Implantar" desse pipeline é exibida.

  2. Clique em Executar.

  3. Aguarde até que a execução do pipeline upstream seja concluída. Na visualização Lista, navegue até o pipeline downstream. Você verá o resultado, como resultado do acionador criado.