Los registros de trabajos de Dataplex se pueden ver, buscar, filtrar y archivar en Cloud Logging.
Para comprender los costos, consulta Precios de Google Cloud Observability.
Para obtener más información sobre la retención de registros, consulta Períodos de retención de registros.
Para inhabilitar todos los registros o excluirlos de Logging, consulta Filtros de exclusión.
Para enrutar registros de Logging a Cloud Storage, BigQuery o Pub/Sub, consulta Descripción general de enrutamiento y almacenamiento.
Accede a los registros del servicio de Dataplex en Logging
Dataplex publica los siguientes registros de servicio en Cloud Logging.
Tipo de registro | Nombre del registro | Consulta de logName |
Descripción del registro |
---|---|---|---|
Registros de eventos de análisis de datos | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Registros de eventos de las tareas de análisis de datos que indican el estado, los resultados y las estadísticas de la tarea |
Registros de resultados de las reglas de análisis de calidad de los datos | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Resultados de las reglas de análisis de calidad de los datos en un trabajo de calidad de los datos |
Registros de detección | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progreso del descubrimiento y actualizaciones de los recursos de una zona |
Registros de trabajos de metadatos | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Registros sobre los trabajos de importación de metadatos y los elementos de importación en el archivo de importación de metadatos |
Registros de procesos | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Ejecuciones de trabajos que resultan de tareas de procesamiento de datos |
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto.
Para acceder a Logging, puedes usar el
Explorador de registros en la
consola de Google Cloud, los
comandos gcloud logging
o la
API de Logging.
Consulta los registros de eventos de análisis de datos
Cuando usas Dataplex para crear y ejecutar un análisis de datos, se produce un registro de eventos de análisis de datos en Logging para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Search log names, ingresa
dataplex.googleapis.com%2Fdata_scan
. Selecciona data_scan y haz clic en Aplicar.Opcional: Agrega los siguientes filtros a la consulta de registro para filtrar los registros a un ID o una ubicación de análisis de datos específicos:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas del registro de eventos de análisis de datos, usa el comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el método entries.list
.
Consulta los registros de resultados de las reglas de análisis de calidad de los datos
Cuando usas Dataplex para crear y ejecutar un análisis de calidad de los datos, se produce un registro de resultados de la regla de análisis de calidad de los datos en Registro para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Cloud Dataplex DataScan. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Search log names, ingresa
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
. Selecciona data_quality_scan_rule_result y haz clic en Aplicar.Opcional: Agrega los siguientes filtros a la consulta de registro para filtrar los registros a un ID o una ubicación de análisis de datos específicos:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas de registro de los resultados de la regla de análisis de calidad de los datos, usa el comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el método entries.list
.
Consulta los registros de descubrimiento
Cuando usas Dataplex para descubrir datos en los recursos, se produce un registro de descubrimiento en Logging.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Zona de Cloud Dataplex. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Search log names, ingresa
dataplex.googleapis.com%2Fdiscovery
. Selecciona discovery y haz clic en Apply.Opcional: Agrega los siguientes filtros a la consulta de registro para filtrar los registros a un recurso específico:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas de registro de descubrimiento, usa el
comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el método entries.list
.
Consulta los registros de trabajos de metadatos
Cuando ejecutas un trabajo de importación de metadatos, los registros de trabajo de metadatos se producen en Logging.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Trabajo de metadatos de Cloud Dataplex.
Opcional: Para filtrar los registros a una ubicación específica o un ID de trabajo de metadatos, selecciona una ubicación o un ID de trabajo.
Haz clic en Aplicar.
Haz clic en el menú Nombre del registro.
Escribe
dataplex.googleapis.com%2Fmetadata_job
y, luego, selecciona metadata_job.Haz clic en Aplicar.
gcloud
Para leer las entradas de registro de tu trabajo de metadatos, usa el
comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/MetadataJob" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND resource.labels.location=LOCATION AND resource.labels.metadata_job_id=METADATA_JOB_ID --limit 10
REST
Para enumerar las entradas de registro, usa el método entries.list
.
Consulta los registros de procesos
Cuando usas Dataplex para programar y ejecutar tareas, se produce un registro de proceso en Logging para el trabajo resultante.
Console
En la consola de Google Cloud, ve a la página Explorador de registros.
En la vista Explorador de registros, busca la pestaña Consulta.
Haz clic en el menú Recurso.
Selecciona Tarea de Cloud Dataplex. Haga clic en Aplicar.
Haz clic en el menú Nombre del registro.
En el campo Search log names, ingresa
dataplex.googleapis.com%2Fprocess
. Selecciona process y haz clic en Apply.Opcional: Agrega los siguientes filtros a la consulta de registro para filtrar los registros a una tarea específica:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Haz clic en Ejecutar consulta.
gcloud
Para leer las entradas de registro del proceso, usa el comando gcloud logging read
con la siguiente consulta:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
Para enumerar las entradas de registro, usa el método entries.list
.
¿Qué sigue?
- Obtén más información sobre Cloud Logging.
- Obtén información sobre la supervisión de Dataplex.