Supervisa los registros de Dataplex

Los registros de trabajos de Dataplex pueden visualizarse, buscarse, filtrarse y archivarse en Cloud Logging.

Accede a los registros del servicio de Dataplex en Logging

Dataplex publica los siguientes registros de servicio en Cloud Logging.

Tipo de registro Nombre del registro Consulta de logName Descripción del registro
Registros de eventos de análisis de datos dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo
Registros de resultados de las reglas de análisis de calidad de los datos dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Resultados de las reglas de análisis de calidad de los datos en un trabajo de este tipo
Registros de descubrimiento dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progreso del descubrimiento y actualizaciones de los activos de una zona
Registros de trabajos de metadatos dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Registros sobre los trabajos de importación de metadatos y los elementos de importación en el archivo de importación de metadatos
Registros de procesos dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Ejecuciones de trabajos resultantes de tareas de procesamiento de datos

Puedes acceder a Logging mediante el Explorador de registros en la consola de Google Cloud, los comandos gcloud logging o la API de Logging.

Consultar registros de eventos de análisis de datos

Cuando usas Dataplex para crear y ejecutar un análisis de datos, se produce un registro de eventos de análisis de datos en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, ingresa dataplex.googleapis.com%2Fdata_scan Selecciona data_scan y haz clic en Aplicar.

  7. Opcional: Filtra los registros para una ubicación o un ID de análisis de datos específicos. Para ello, agrega los siguientes filtros en la consulta de registros:

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas del registro de eventos del análisis de datos, usa el Comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Registros de resultados de las reglas de análisis de la calidad de los datos

Cuando usas Dataplex para crear y ejecutar un análisis de calidad de los datos, se genera un registro de resultados de reglas de análisis de calidad de los datos en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Seleccionar data_quality_scan_rule_result y haz clic en Aplicar.

  7. Opcional: Filtra los registros a un ID o una ubicación de análisis de datos específicos agregando los siguientes filtros en la consulta de registro:

    resource.labels.location="LOCATION"
    resource.labels.datascan_id="DATA_SCAN_ID"
    
  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas del registro de resultados de la regla del análisis de calidad de los datos, usa el Comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Consulta los registros de descubrimiento

Cuando usas Dataplex para descubrir datos en los recursos, se produce un registro de descubrimiento en Logging.

Console

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Zona de Cloud Dataplex. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Search log names, ingresa dataplex.googleapis.com%2Fdiscovery. Selecciona discovery y haz clic en Apply.

  7. Opcional: Filtra los registros para un recurso específico. Para ello, agrega los siguientes filtros en la consulta de registros:

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.zone_id="ZONE_ID"
    jsonPayload.assetId="ASSET_ID"
    
  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro de descubrimiento, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el Método entries.list.

Consulta los registros de trabajos de metadatos

Cuando ejecutas un trabajo de importación de metadatos, los registros de trabajos se producen en Logging.

Console

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Trabajo de metadatos de Cloud Dataplex.

  5. Opcional: Para filtrar los registros a una ubicación específica o un ID de trabajo de metadatos, selecciona una ubicación o un ID de trabajo.

  6. Haz clic en Aplicar.

  7. Haz clic en el menú Nombre del registro.

  8. Escribe dataplex.googleapis.com%2Fmetadata_job y, luego, selecciona metadata_job.

  9. Haz clic en Aplicar.

gcloud

Para leer las entradas de registro de tu trabajo de metadatos, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

Registros del proceso de consulta

Cuando usas Dataplex para programar y ejecutar tareas, un proceso se genera en Logging para el trabajo resultante.

Console

  1. En la consola de Google Cloud, ve a la página Explorador de registros.

    Ir al Explorador de registros

  2. En la vista Explorador de registros, busca la pestaña Consulta.

  3. Haz clic en el menú Recurso.

  4. Selecciona Tarea de Cloud Dataplex. Haga clic en Aplicar.

  5. Haz clic en el menú Nombre del registro.

  6. En el campo Buscar nombres de registro, ingresa dataplex.googleapis.com%2Fprocess Selecciona process y haz clic en Aplicar.

  7. Opcional: Filtra los registros para una tarea específica agregando lo siguiente filtros en la consulta de registro:

    resource.labels.location="LOCATION"
    resource.labels.lake_id="LAKE_ID"
    resource.labels.task_id="TASK_ID"
    
  8. Haz clic en Ejecutar consulta.

gcloud

Para leer las entradas de registro del proceso, usa el comando gcloud logging read con la siguiente consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para enumerar las entradas de registro, usa el método entries.list.

¿Qué sigue?