Los registros de trabajos de Dataplex se pueden ver, buscar, filtrar y archivar en Cloud Logging.
Consulta los precios de observabilidad de Google Cloud para comprender tus costos.
Consulta Períodos de retención de registros para obtener información sobre el tema.
Consulta Filtros de exclusión para inhabilitar todos los registros o excluir registros de Logging.
Consulta Descripción general de enrutamiento y almacenamiento para enrutar los registros de Logging a CloudStorage, BigQuery o Pub/Sub.
Accede a los registros del servicio de Dataplex en Logging
Dataplex publica los siguientes registros de servicio en Cloud Logging.
| Tipo de registro | Nombre del registro | Consulta de logName | Descripción del registro |
|---|---|---|---|
| Registros de eventos de análisis de datos | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Registros de eventos para trabajos de análisis de datos que indican el estado, los resultados y las estadísticas del trabajo |
| Registros de resultados de la regla de análisis de calidad de los datos | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos |
| Registros de descubrimiento | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progreso del descubrimiento y actualizaciones de los activos de una zona |
| Registros de procesos | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Ejecuciones de trabajos como resultado de tareas de procesamiento de datos |
Registros de eventos de análisis de datos de consultas
Cuando usas Dataplex para crear y ejecutar un análisis de datos, se genera un registro de eventos de análisis de datos en Logging para el trabajo resultante.
Puedes acceder a Logging mediante la consola de Logging, el comando gcloud logging o la API de Logging.
Console
En la consola de Google Cloud, ve a Cloud Logging > Registros (Explorador de registros):
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú desplegable Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú desplegable Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fdata_scan. Selecciona data_scan y haz clic en Aplicar.Opcional: Filtra los registros según un ID o una ubicación de análisis de datos específicos. Para ello, agrega los siguientes filtros en la consulta de registro:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
El SDK de Google Cloud tiene un grupo de comandos, gcloud logging, que proporciona una interfaz de línea de comandos para la API de Cloud Logging. Para leer las entradas de registro, ejecuta el siguiente comando.
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Sigue las instrucciones de la API de Logging para enumerar las entradas de registro (entries.list) con el Explorador de API.
Consultar registros de resultados de reglas de análisis de calidad de los datos
Cuando usas Dataplex para crear y ejecutar un análisis de calidad de los datos, se genera en Logging un registro de resultados de la regla de análisis de calidad de los datos para el trabajo resultante.
Puedes acceder a Logging mediante la consola de Logging, el comando gcloud logging o la API de Logging.
Console
En la consola de Google Cloud, ve a Cloud Logging > Registros (Explorador de registros):
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú desplegable Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú desplegable Nombre del registro.
En el campo Buscar nombres de registro, ingresa
dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecciona data_quality_scan_rule_result y haz clic en Aplicar.Opcional: Filtra los registros según un ID o una ubicación de análisis de datos específicos. Para ello, agrega los siguientes filtros en la consulta de registro:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
El SDK de Google Cloud tiene un grupo de comandos, gcloud logging, que proporciona una interfaz de línea de comandos para la API de Cloud Logging. Para leer las entradas de registro, ejecuta el siguiente comando.
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Sigue las instrucciones de la API de Logging para enumerar las entradas de registro (entries.list) con el Explorador de API.
Registros de descubrimiento de consultas
Cuando usas Dataplex para descubrir datos en recursos, se genera un registro de descubrimiento en Logging.
Puedes acceder a Logging mediante la consola de Logging, el comando gcloud logging o la API de Logging.
Console
En la consola de Google Cloud, ve a Cloud Logging > Registros (Explorador de registros):
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú desplegable Recurso.
Selecciona Zona de Cloud Dataplex. Haz clic en Agregar.
Haz clic en el menú desplegable Nombre del registro.
Tipo
dataplex.googleapis.com%2Fdiscovery. Selecciona discovery y haz clic en Agregar.Para filtrar los registros de un recurso específico, agrega los siguientes filtros en la consulta de registro (opcional):
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Haz clic en Ejecutar consulta.
gcloud
Google Cloud CLI tiene un grupo de comandos, gcloud logging, que proporciona una interfaz de línea de comandos para la API de Cloud Logging. Para leer las entradas de registro, ejecuta el siguiente comando.
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
Sigue las instrucciones de la API de Logging para enumerar las entradas de registro (entries.list) con el Explorador de API.
Registros del proceso de consultas
Cuando usas Dataplex para programar y ejecutar tareas, se genera un registro de procesos en Logging para el trabajo resultante.
Puedes acceder a Logging mediante la consola de Logging, el comando gcloud logging o la API de Logging.
Console
En la consola de Google Cloud, ve a Cloud Logging > Registros (Explorador de registros):
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú desplegable Recurso.
Selecciona Tarea de Cloud Dataplex. Haz clic en Agregar.
Haz clic en el menú desplegable Nombre del registro.
Tipo
dataplex.googleapis.com%2Fprocess. Selecciona process y haz clic en Add.Para filtrar los registros de una tarea específica, agrega los siguientes filtros en la consulta de registro (opcional):
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Haz clic en Ejecutar consulta.
gcloud
El SDK de Google Cloud tiene un grupo de comandos, gcloud logging, que proporciona una interfaz de línea de comandos para la API de Cloud Logging. Para leer las entradas de registro, ejecuta el siguiente comando.
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
Sigue las instrucciones de la API de Logging para enumerar las entradas de registro (entries.list) con el Explorador de API.
¿Qué sigue?
- Obtén más información sobre Cloud Logging.
- Obtén información sobre la supervisión de Dataplex.