Esta página descreve maneiras de gerenciar configurações de pipelines de dados.
Antes de começar
Esta página requer algum conhecimento prévio sobre os perfis de computação e desempenho do pipeline.
Configuração do perfil de computação
É possível alterar o perfil de computação ou personalizar os parâmetros do padrão do Compute Engine que executa o pipeline. Para mais informações, consulte Gerenciar perfis de computação e propriedades do provisionador do Dataproc.
Configuração do pipeline
Para cada pipeline, é possível ativar ou desativar a instrumentação, como o controle de tempo métricas. Por padrão, a instrumentação fica ativada. Se a instrumentação estiver ativada, quando quando você executa o pipeline, o Cloud Data Fusion gera métricas para cada pipeline nó. As métricas a seguir são exibidas na guia Métricas de cada nó. A as métricas de origem, transformação e coletor variam um pouco.
- Registros gerados
- Entrada de registros
- Número total de erros
- Registros gerados por segundo
- Tempo mínimo de processamento (um registro)
- Tempo máximo de processamento (um registro)
- Desvio padrão
- Tempo médio de processamento
Recomendamos que você sempre ative a instrumentação, a menos que o ambiente seja curto nos recursos.
Para pipelines de streaming, também é possível definir o Intervalo do lote (segundos/minutos) para dados de streaming.
Configuração do mecanismo
O Apache Spark é o mecanismo de execução padrão. É possível transmitir parâmetros personalizados para o Spark. Para mais informações, consulte Processamento paralelo.
Recursos
É possível especificar a memória e o número de CPUs para o driver do Spark e executor. O driver orquestra o job do Spark. O executor processa os dados no Spark. Para mais informações, consulte Gerenciamento de recursos.
Alerta de pipeline
É possível configurar o pipeline para enviar alertas e iniciar tarefas de pós-processamento após a conclusão da execução do pipeline. Você cria alertas de pipeline ao projetar pipeline. Depois de implantar o pipeline, é possível visualizar os alertas. Você pode editar para alterar as configurações de alerta. Para mais informações, consulte Criar alertas.
Pushdown de transformação
Ative o push-down de transformação se quiser que um pipeline seja executado algumas transformações no BigQuery. Para mais informações, consulte a Visão geral do Pushdown de transformação.