Nesta página, descrevemos os conceitos básicos sobre como implantar e executar pipelines no Cloud Data Fusion.
Implantar canais
Quando terminar de projetar e depurar um pipeline de dados e estiver satisfeito com os dados que você vê na visualização, você estará pronto para implantar o pipeline.
Quando você implanta o pipeline, o Cloud Data Fusion Studio cria o fluxo de trabalho e os jobs do Apache Spark correspondentes em segundo plano.
Executar pipelines
Depois de implantar um pipeline, é possível executá-lo das seguintes maneiras:
- Para executar um pipeline sob demanda, abra um pipeline implantado e clique em Executar.
- Para programar a execução do pipeline em um determinado horário, abra um pipeline implantado e clique em Programar.
- Para acionar o pipeline com base quando outro pipeline for concluído, abra um pipeline implantado e clique em Acionadores de entrada.
O Pipeline Studio salva o histórico de um pipeline sempre que é executado. É possível alternar entre diferentes versões de ambiente de execução do pipeline.
Se o pipeline tiver macros, defina os argumentos do ambiente de execução para cada uma delas. Também é possível revisar e alterar as configurações do pipeline antes de executar o pipeline implantado. É possível ver a mudança de status durante as fases da execução do pipeline, como Provisionamento, Iniciando, Em execução e Concluído. Também é possível interromper o pipeline a qualquer momento.
Se você ativar a instrumentação, poderá explorar as métricas geradas pelo pipeline clicando em Propriedades em qualquer nó do pipeline, como uma origem, transformação ou coletor.
Para mais informações sobre as execuções do pipeline, clique em Resumo.
A seguir
- Saiba mais sobre configurações de pipeline.