Nesta página, descrevemos maneiras de gerenciar configurações para pipelines implantados.
Antes de começar
Esta página requer algum conhecimento sobre perfis de computação e performance do pipeline.
Configuração do perfil de computação
Você pode mudar o perfil de computação ou personalizar os parâmetros do perfil de computação padrão que executa o pipeline. Para mais informações, consulte Gerenciar perfis de computação e Propriedades do provisionador do Dataproc.
Configuração do pipeline
Para cada pipeline, é possível ativar ou desativar a instrumentação, como métricas de tempo. Por padrão, a instrumentação fica ativada. Se a instrumentação estiver ativada, ao executar o pipeline, o Cloud Data Fusion vai gerar métricas para cada nó do pipeline. As métricas a seguir são exibidas na guia Métricas de cada nó. As métricas de origem, transformação e coletor variam um pouco.
- Registros gerados
- Entrada de registros
- Total de erros
- Registros gerados por segundo
- Tempo mínimo de processamento (um registro)
- Tempo máximo de processamento (um registro)
- Desvio padrão
- Tempo médio de processamento
Recomendamos que você sempre ative a instrumentação, a menos que o ambiente esteja com poucos recursos.
Para pipelines de streaming, também é possível definir o Intervalo de lote (segundos/minutos) para dados de streaming.
Configuração do mecanismo
O Apache Spark é o mecanismo de execução padrão. É possível transmitir parâmetros personalizados para o Spark. Para mais informações, consulte Processamento paralelo.
Recursos
É possível especificar a memória e o número de CPUs para o driver e o executor do Spark. O driver orquestra o job do Spark. O executor processa os dados no Spark. Para mais informações, consulte Gerenciamento de recursos.
Alerta de pipeline
É possível configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento após a execução do pipeline. Você cria alertas de pipeline ao projetar o pipeline. Depois de implantar o pipeline, você pode conferir os alertas. É possível editar o pipeline para mudar as configurações de alerta. Para mais informações, consulte Criar alertas.
Pushdown de transformação
É possível ativar o pushdown de transformação se você quiser que um pipeline execute determinadas transformações no BigQuery. Para mais informações, consulte a Visão geral do pushdown de transformação.