Gestionar configuraciones de canalizaciones

En esta página se describen las formas en que puede gestionar las configuraciones de las canalizaciones implementadas.

Antes de empezar

Para entender esta página, debes tener algunos conocimientos básicos sobre los perfiles de cálculo y el rendimiento de las canalizaciones.

Configuración del perfil de cálculo

Puedes cambiar el perfil de cálculo o personalizar los parámetros del perfil de cálculo predeterminado que ejecuta la canalización. Para obtener más información, consulta Gestionar perfiles de cálculo y Propiedades del aprovisionador de Dataproc.

Configuración del flujo de procesamiento

En cada canalización, puede habilitar o inhabilitar la instrumentación, como las métricas de tiempo. La instrumentación está activada de forma predeterminada. Si la instrumentación está habilitada, cuando ejecutes el flujo de procesamiento, Cloud Data Fusion generará métricas para cada nodo del flujo. Las siguientes métricas se muestran en la pestaña Métricas de cada nodo. Las métricas de origen, transformación y receptor varían ligeramente.

  • Registros
  • Registros en
  • Número total de errores
  • Registros de salida por segundo
  • Tiempo mínimo de procesamiento (un registro)
  • Tiempo máximo de procesamiento (un registro)
  • Desviación estándar
  • Tiempo medio de procesamiento

Te recomendamos que actives siempre la instrumentación, a menos que el entorno tenga pocos recursos.

En el caso de las canalizaciones de streaming, también puedes definir el Intervalo de lote (segundos o minutos) de los datos de streaming.

Configuración del motor

Apache Spark es el motor de ejecución predeterminado. Puedes transferir parámetros personalizados para Spark. Para obtener más información, consulta Procesamiento en paralelo.

Recursos

Puedes especificar la memoria y el número de CPUs del controlador y del ejecutor de Spark. El controlador coordina el trabajo de Spark. El ejecutor gestiona el tratamiento de los datos en Spark. Para obtener más información, consulta Gestión de recursos.

Alerta de flujo de procesamiento

Puedes configurar la canalización para que envíe alertas e inicie tareas de posprocesamiento cuando finalice la ejecución de la canalización. Las alertas de la canalización se crean al diseñar la canalización. Una vez que hayas implementado la canalización, podrás ver las alertas. Puedes editar la canalización para cambiar los ajustes de las alertas. Para obtener más información, consulta el artículo Crear alertas.

Propagación de transformaciones

Puedes habilitar el pushdown de transformaciones si quieres que una canalización ejecute determinadas transformaciones en BigQuery. Para obtener más información, consulta la descripción general de la inserción de transformaciones.

Siguientes pasos