Administra la configuración de la canalización

En esta página, se describen las formas en que puedes administrar la configuración de las canalizaciones implementadas.

Antes de comenzar

En esta página, se requieren conocimientos previos sobre los perfiles de procesamiento y el rendimiento de las canalizaciones.

Configuración del perfil de procesamiento

Puedes cambiar el perfil de procesamiento o personalizar los parámetros del perfil de procesamiento predeterminado que ejecuta la canalización. Para obtener más información, consulta Administra perfiles de procesamiento y Propiedades del aprovisionador de Dataproc.

Configuración de la canalización

Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está activada. Si la instrumentación está habilitada, cuando ejecutas la canalización, Cloud Data Fusion genera métricas para cada nodo de canalización. Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. Las métricas de fuente, transformación y receptor varían un poco.

  • Records out
  • Records in
  • Cantidad total de errores
  • Records out per second
  • Min process time (one record)
  • Max process time (one record)
  • Desviación estándar
  • Average processing time

Te recomendamos que siempre actives la opción Instrumentation, a menos que el entorno tenga pocos recursos.

En el caso de las canalizaciones de transmisión, también puedes configurar el Intervalo por lotes (segundos/minutos) para los datos de transmisión.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento paralelo.

Recursos

Puedes especificar la memoria y la cantidad de CPU para el controlador y el ejecutor de Spark. El controlador organiza el trabajo de Spark. El ejecutor controla el procesamiento de datos en Spark. Para obtener más información, consulta Administración de recursos.

Alerta de canalización

Puedes configurar la canalización para enviar alertas y comenzar las tareas posteriores de procesamiento una vez que finalice la ejecución de la canalización. Cuando diseñas la canalización, creas alertas de canalización. Después de implementar la canalización, puedes ver las alertas. Puedes editar la canalización para cambiar la configuración de alertas. Para obtener más información, consulta Crea alertas.

Envío de transformaciones

Puedes habilitar el envío de transformaciones si deseas que una canalización ejecute ciertas transformaciones en BigQuery. Para obtener más información, consulta Descripción general del envío de transformaciones.

¿Qué sigue?