Esta página descreve formas de gerir as configurações dos pipelines implementados.
Antes de começar
Esta página requer alguns conhecimentos básicos sobre os perfis de computação e o desempenho do pipeline.
Configuração do perfil de computação
Pode alterar o perfil de computação ou personalizar os parâmetros do perfil de computação predefinido que executa o pipeline. Para mais informações, consulte os artigos Faça a gestão dos perfis de computação e Propriedades do aprovisionador do Dataproc.
Configuração da pipeline
Para cada pipeline, pode ativar ou desativar a instrumentação, como as métricas de tempo. Por predefinição, a instrumentação está ativada. Se a instrumentação estiver ativada, quando executar o pipeline, o Cloud Data Fusion gera métricas para cada nó do pipeline. As seguintes métricas são apresentadas no separador Métricas de cada nó. As métricas de origem, transformação e destino variam ligeiramente.
- Registos de saída
- Recordes em
- Número total de erros
- Registos emitidos por segundo
- Tempo de processamento mínimo (um registo)
- Tempo de processamento máximo (um registo)
- Desvio padrão
- Tempo de processamento médio
Recomendamos que ative sempre a instrumentação, a menos que o ambiente tenha poucos recursos.
Para pipelines de streaming, também pode definir o intervalo de lotes (segundos/minutos) para dados de streaming.
Configuração do motor
O Apache Spark é o motor de execução predefinido. Pode transmitir parâmetros personalizados para o Spark. Para mais informações, consulte o artigo Processamento paralelo.
Recursos
Pode especificar a memória e o número de CPUs para o controlador e o executor do Spark. O controlador orquestra a tarefa do Spark. O executor processa os dados no Spark. Para mais informações, consulte o artigo Gestão de recursos.
Alerta de pipeline
Pode configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento após a conclusão da execução do pipeline. Cria alertas de pipeline quando cria o pipeline. Depois de implementar o pipeline, pode ver os alertas. Pode editar o pipeline para alterar as definições de alerta. Para mais informações, consulte o artigo Crie alertas.
Transferência da transformação
Pode ativar o pushdown de transformações se quiser que um pipeline execute determinadas transformações no BigQuery. Para mais informações, consulte a vista geral da aplicação de transformações.