Administra las configuraciones de canalización

En esta página, se describen las formas en que puedes administrar las configuraciones de las canalización implementadas.

Antes de comenzar

Para esta página, se requiere conocimiento previo sobre los perfiles de procesamiento y el rendimiento de las canalizaciones.

Configuración del perfil de procesamiento

Puedes cambiar el perfil de procesamiento o personalizar los parámetros del perfil de procesamiento predeterminado que ejecuta la canalización. Para obtener más información, consulta Administra perfiles de procesamiento y Propiedades del proveedor de Dataproc.

Configuración de la canalización

Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está activada. Si la instrumentación está habilitada, cuando ejecutes la canalización, Cloud Data Fusion generará métricas para cada nodo de la canalización. Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. Las métricas de fuente, transformación y destino varían ligeramente.

  • Records out
  • Records in
  • Cantidad total de errores
  • Records out per second
  • Min process time (one record)
  • Max process time (one record)
  • Desviación estándar
  • Average processing time

Te recomendamos que siempre actives la instrumentación, a menos que el entorno tenga pocos recursos.

En el caso de las canalizaciones de transmisión, también puedes configurar el Intervalo de lotes (segundos/minutos) para los datos de transmisión.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento en paralelo.

Recursos

Puedes especificar la memoria y la cantidad de CPUs para el controlador y el ejecutor de Spark. El controlador organiza el trabajo de Spark. El ejecutor controla el procesamiento de datos en Spark. Para obtener más información, consulta Administración de recursos.

Alerta de canalización

Puedes configurar la canalización para que envíe alertas y comience tareas de procesamiento posterior cuando finalice la ejecución de la canalización. Creas alertas de canalización cuando la diseñas. Después de implementar la canalización, puedes ver las alertas. Puedes editar la canalización para cambiar la configuración de las alertas. Para obtener más información, consulta Crea alertas.

Envío de transformaciones

Puedes habilitar el envío de transformaciones si deseas que una canalización ejecute ciertas transformaciones en BigQuery. Para obtener más información, consulta la Descripción general del envío de transformaciones.

¿Qué sigue?