Cómo ver los registros de Cloud Data Fusion

En este documento, se describe cómo acceder a los registros de canalización y de servicio de Cloud Data Fusion, y cómo visualizarlos.

A partir de la versión 6.11 de Cloud Data Fusion, los registros de canalización y los registros de servicio están disponibles en Cloud Logging.

Acerca de los tipos de registros

Cloud Data Fusion genera varios tipos de registros para ayudar a supervisar y solucionar problemas de los procesos de integración de datos:

Registros de canalización
Estos registros proporcionan información detallada sobre las ejecuciones individuales de la canalización, incluidas las ejecuciones de vista previa. Abarcan todas las etapas de una ejecución de canalización, como la configuración previa a la ejecución, la ejecución del trabajo y las actividades posteriores a la ejecución.

Registros de servicio
Estos registros proporcionan información detallada sobre los servicios del sistema de Cloud Data Fusion, como AppFabric y el procesador de AppFabric.

Registros de auditoría
Cloud Data Fusion genera registros de auditoría, como los registros de auditoría de actividad del administrador. Para obtener más información, consulta Registros de auditoría de Cloud Data Fusion.

Registros de canalización avanzados
Estos registros proporcionan información detallada sobre las ejecuciones individuales de la canalización. Estos registros son especialmente útiles para solucionar problemas de fallas en la canalización, ya que capturan información incluso antes de que el clúster de Dataproc termine el aprovisionamiento, lo que puede ayudar a identificar problemas o retrasos en el clúster. Para obtener más información, consulta Cómo ver registros avanzados de la canalización en Cloud Logging.

Precios

El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.

Opcional: Importa el panel de Cloud Data Fusion Logging

Para ver los registros de canalización y los registros de servicio con el panel de Cloud Data Fusion Logging, importa el panel:

  1. En la consola de Google Cloud , ve a la página Paneles de Cloud Monitoring.

    Ir a Paneles de control

  2. Haz clic en Ver plantillas de paneles.

  3. Busca Cloud Data Fusion Logging y selecciona el panel.

  4. Haz clic en Agrega el panel de Cloud Data Fusion Logging a tu lista.

Visualiza los registros de la canalización

Puedes ver los registros de la canalización con el panel de Cloud Data Fusion Logging o directamente en el Explorador de registros.

Visualiza los registros de la canalización con el panel

  1. Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.

  2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

  3. En la sección Registros de canalización, consulta la lista de registros de canalización. Puedes filtrar los registros por gravedad, nombres de campos y valores.

    Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Visualiza registros de canalización en el Explorador de registros

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. Ingresa la siguiente consulta:

    resource.type="datafusion.googleapis.com/PipelineV2"
    

    Aquí se muestra la lista de registros de la canalización. Puedes usar filtros para definir mejor los resultados.

Filtra los registros de la canalización

Puedes filtrar los registros de la canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.

Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único. Después de implementar y ejecutar tu canalización, puedes encontrar su RunID y ver los registros correspondientes.

Para filtrar los registros de la canalización por RunID, sigue estos pasos:

  1. Obtén el RunID de la canalización.

  2. En la Google Cloud consola, ve a la página Explorador de registros.

  3. Ingresa la siguiente consulta:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
    

Visualiza los registros del servicio

Puedes ver los registros del servicio en el panel de Cloud Data Fusion Logging o en el Explorador de registros.

Visualiza los registros de servicio con el panel

  1. Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.

  2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

  3. En la sección Registros de servicio, consulta la lista de registros de servicio. Puedes filtrar los registros por gravedad, nombres de campos y valores.

    Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Visualiza registros de servicios en el Explorador de registros

  1. En la Google Cloud consola, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. Para encontrar los registros del servicio, ingresa la consulta específica para ese servicio.

    Nombre del servicio Consulta de registro
    Appfabric
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric"
    
    Procesador de AppFabric
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric.processor"
    
    Ejecutor de conjuntos de datos
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="dataset.executor"
    
    Ahorro de registros
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="log.saver"
    
    Servicio de metadatos
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metadata.service"
    
    Métricas
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metrics"
    
    Pipeline Studio
    resource.type="datafusion.googleapis.com/InstanceV2" 
    resource.labels.namespace="system"
    labels.".userserviceid"="studio"
    
    Entorno de ejecución
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="runtime"
    
    Servicio de Wrangler
    resource.type="datafusion.googleapis.com/InstanceV2"
    resource.labels.namespace="system"
    labels.".applicationId"="dataprep"
    labels.".userserviceid"="service"
    

Registro configurable en Cloud Data Fusion

Cloud Data Fusion 6.11.0 ofrece registros configurables, con Cloud Logging habilitado de forma predeterminada. Si bien es posible inhabilitar Cloud Logging, se recomienda encarecidamente mantenerlo habilitado para garantizar que tengas acceso a los registros críticos de la canalización y la instancia.

Para inhabilitar Cloud Logging, ejecuta el siguiente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Reemplaza lo siguiente:

  • PROJECT_ID: El ID del proyecto de Google Cloud
  • LOCATION: La ubicación de tu instancia
  • INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.

¿Qué sigue?