Ver los registros de Cloud Data Fusion

En este documento se describe cómo acceder a los registros de la canalización y del servicio de Cloud Data Fusion, así como consultarlos.

A partir de la versión 6.11 de Cloud Data Fusion, los registros de las canalizaciones y los registros de los servicios están disponibles en Cloud Logging.

Acerca de los tipos de registros

Cloud Data Fusion genera varios tipos de registros para monitorizar y solucionar problemas de los procesos de integración de datos:

Registros de la canalización

Estos registros proporcionan información detallada sobre ejecuciones de canalizaciones concretas, incluidas las de vista previa. Cubren todas las fases de una ejecución de una canalización, como la configuración previa a la ejecución, la ejecución de la tarea y las actividades posteriores a la ejecución.

Registros del servicio

Estos registros proporcionan información detallada sobre los servicios del sistema de Cloud Data Fusion, como AppFabric y el procesador AppFabric.

Registros de auditoría

Cloud Data Fusion genera registros de auditoría, como los registros de auditoría de la actividad del administrador. Para obtener más información, consulta Registros de auditoría de Cloud Data Fusion.

Registros de canalización avanzados

Estos registros proporcionan información detallada sobre ejecuciones de canalizaciones concretas. Estos registros son especialmente útiles para solucionar problemas de fallos en las canalizaciones, ya que capturan información incluso antes de que el clúster de Dataproc termine de aprovisionarse, lo que puede ayudar a identificar problemas o retrasos en el clúster. Para obtener más información, consulta Ver registros de flujos de procesamiento avanzados en Cloud Logging.

Precios

El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.

Opcional: Importar el panel de control de registro de Cloud Data Fusion

Para ver los registros de la canalización y del servicio mediante el panel de control de registro de Cloud Data Fusion, importe el panel de control:

1. En la Google Cloud consola, ve a la página Paneles de control de Cloud Monitoring.

   Ir a Paneles

2. Haz clic en Ver plantillas de panel de control.

3. Busca Registro de Cloud Data Fusion y selecciona el panel de control.

4. Haz clic en Añadir panel de Cloud Data Fusion Logging a tu lista.

Ver registros de la canalización

Puedes ver los registros de los flujos de procesamiento mediante el panel de control de registro de Cloud Data Fusion o directamente en el Explorador de registros.

Ver los registros de la canalización mediante el panel de control

1. Si aún no lo has hecho, importa el panel de control Registro de Cloud Data Fusion.

2. En la sección Mis paneles de control, haga clic en Registro de Cloud Data Fusion.

3. En la sección Registros de flujo de procesamiento, consulta la lista de registros de flujo de procesamiento. Puede filtrar los registros por gravedad, nombres de campo y valores.

   Para acotar la búsqueda mediante consultas, usa el explorador de registros.

Ver registros de flujos de trabajo en el explorador de registros

1. En la Google Cloud consola, ve a la página Explorador de registros.

   Ir a Explorador de registros

2. Introduce la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Se muestra la lista de registros de la canalización. Puedes usar filtros para acotar los resultados.

Filtrar registros de flujos de procesamiento

Puede filtrar los registros de la canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.

A cada ejecución de un flujo de procesamiento de Cloud Data Fusion se le asigna un RunID único. Después de implementar y ejecutar tu flujo de trabajo, puedes encontrar el RunID de tu flujo de trabajo y ver los registros correspondientes.

Para filtrar los registros de la canalización por RunID, sigue estos pasos:

1. Obtén el RunID de la canalización.

2. En la Google Cloud consola, ve a la página Explorador de registros.

3. Introduce la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Ver registros del servicio

Puedes ver los registros de servicio en el panel de control de registro de Cloud Data Fusion o en el Explorador de registros.

Ver registros de servicio mediante el panel de control

1. Si aún no lo has hecho, importa el panel de control Registro de Cloud Data Fusion.

2. En la sección Mis paneles de control, haga clic en Registro de Cloud Data Fusion.

3. En la sección Registros de servicio, consulta la lista de registros de servicio. Puede filtrar los registros por gravedad, nombres de campo y valores.

   Para acotar la búsqueda mediante consultas, usa el explorador de registros.

Ver registros de servicio en el explorador de registros

1. En la Google Cloud consola, ve a la página Explorador de registros.

   Ir a Explorador de registros

2. Para encontrar los registros de un servicio, introduce la consulta específica de ese servicio.

   Nombre del servicio	Consulta del registro
   AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
   Procesador de AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
   Ejecutor de conjuntos de datos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
   Guardar registros	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
   Servicio de metadatos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
   Tiempo de ejecución	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
   Servicio Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Registro configurable en Cloud Data Fusion

Cloud Data Fusion 6.11.0 ofrece registros configurables, con Cloud Logging habilitado de forma predeterminada. Aunque es posible inhabilitar Cloud Logging, te recomendamos que lo mantengas habilitado para asegurarte de que tienes acceso a los registros de canalizaciones e instancias críticos.

Para inhabilitar Cloud Logging, ejecuta el siguiente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Haz los cambios siguientes:

• PROJECT_ID: el ID del proyecto Google Cloud
• LOCATION: la ubicación de tu instancia
• INSTANCE_ID: el ID de tu instancia de Cloud Data Fusion

Siguientes pasos

• Más información sobre el registro de auditoría de Cloud Data Fusion
• Consulta cómo ver los registros de canalización avanzados.