Los registros de trabajos de Dataplex pueden visualizarse, buscarse, filtrarse y archivarse en Cloud Logging.
Consulta los precios de Google Cloud Observability para comprender tus costos.
Consulta Períodos de retención de registros para obtener información sobre el tema.
Consulta Filtros de exclusión para inhabilitar o excluir todos los registros. registros de Logging.
Consulta Descripción general de enrutamiento y almacenamiento para enrutar los registros de Logging a CloudStorage, BigQuery o Pub/Sub.
Accede a los registros del servicio de Dataplex en Logging
Dataplex publica los siguientes registros de servicio en Cloud Logging.
Tipo de registro | Nombre del registro | logName consulta |
Descripción del registro |
---|---|---|---|
Registros de eventos de análisis de datos | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo |
Registros de resultados de las reglas de análisis de la calidad de los datos | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Resultados de las reglas de análisis de calidad de los datos en un trabajo de este tipo |
Registros de descubrimiento | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progreso del descubrimiento y actualizaciones de los activos de una zona |
Registros de procesos | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Ejecuciones de trabajos resultantes de tareas de procesamiento de datos |
Puedes acceder a Logging con el
Explorador de registros en
la consola de Google Cloud,
Comandos gcloud logging
la API de Logging.
Consultar registros de eventos de análisis de datos
Cuando usas Dataplex para crear y ejecutar un análisis de datos, se genera un registro de eventos de análisis de datos en Logging para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fdata_scan
Selecciona data_scan y Haz clic en Aplicar.Opcional: Filtra los registros para una ubicación o un ID de análisis de datos específicos. Para ello, agrega los siguientes filtros en la consulta de registros:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas del registro de eventos del análisis de datos, usa el
Comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el
Método entries.list
.
Registros de resultados de las reglas de análisis de la calidad de los datos
Cuando usas Dataplex para crear y ejecutar un análisis de calidad de los datos, se genera un registro de resultados de reglas de análisis de calidad de los datos en Logging para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
Seleccionar data_quality_scan_rule_result y haz clic en Aplicar.Opcional: Filtra los registros para una ubicación o un ID de análisis de datos específicos. Para ello, agrega los siguientes filtros en la consulta de registros:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas del registro de resultados de la regla del análisis de calidad de los datos, usa el
Comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el
Método entries.list
.
Registros de descubrimiento de consultas
Cuando usas Dataplex para descubrir datos en recursos, se crea se produce en Logging.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Zona de Cloud Dataplex. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fdiscovery
Selecciona Descubrimiento y Haz clic en Aplicar.Opcional: Filtra los registros para un recurso específico. Para ello, agrega los siguientes filtros en la consulta de registros:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas del registro de descubrimiento, usa el
Comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el
Método entries.list
.
Registros del proceso de consulta
Cuando usas Dataplex para programar y ejecutar tareas, un proceso se genera en Logging para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Tarea de Cloud Dataplex. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fprocess
Selecciona process y haz clic en Aplicar.Opcional: Filtra los registros para una tarea específica agregando lo siguiente filtros en la consulta de registro:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer tus entradas de registro de procesos, usa el
Comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el
Método entries.list
.
¿Qué sigue?
- Obtén más información sobre Cloud Logging.
- Obtén más información sobre la supervisión de Dataplex.