Administra la configuración de la canalización

En esta página, se describen las formas de administrar las configuraciones de los canalizaciones.

Antes de comenzar

Esta página requiere conocimientos previos sobre los perfiles de Compute y rendimiento de la canalización.

Configuración del perfil de procesamiento

Puedes cambiar el perfil de procesamiento o personalizar los parámetros de la configuración el perfil de procesamiento que ejecuta la canalización. Para obtener más información, consulta Administra perfiles de procesamiento y propiedades del aprovisionador de Dataproc.

Configuración de la canalización

Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está activada. Si la instrumentación está habilitada, cuando ejecutes la canalización, Cloud Data Fusion generará métricas para cada nodo de la canalización. Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. Las métricas de fuente, transformación y destino varían ligeramente.

  • Records out
  • Records in
  • Cantidad total de errores
  • Records out per second
  • Min process time (one record)
  • Max process time (one record)
  • Desviación estándar
  • Average processing time

Te recomendamos que siempre actives Instrumentation, a menos que el entorno sea corto. en los recursos.

En el caso de las canalizaciones de transmisión, también puedes establecer el Intervalo de lotes (segundos/minutos) para los datos de transmisión.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento paralelo.

Recursos

Puedes especificar la memoria y la cantidad de CPU para el controlador de Spark ejecutor. El controlador organiza el trabajo de Spark. El ejecutor controla el procesamiento de datos en Spark. Para obtener más información, consulta Administración de recursos.

Alerta de canalización

Puedes configurar la canalización para que envíe alertas y comience tareas de procesamiento posterior cuando finalice la ejecución de la canalización. Creas alertas de canalización cuando la diseñas. Después de implementar la canalización, puedes ver las alertas. Puedes editar la canalización para cambiar la configuración de alertas. Para obtener más información, consulta Crea alertas.

Envío de transformaciones

Puedes habilitar el envío de transformaciones si deseas que una canalización ejecute ciertas transformaciones en BigQuery. Para obtener más información, consulta la Descripción general del envío de transformaciones.

¿Qué sigue?