Supervisa y visualiza los registros del Servicio de transferencia de datos de BigQuery
La supervisión y el registro del Servicio de transferencia de datos de BigQuery proporcionan información sobre el rendimiento y el estado de la carga de trabajo del servicio. El Servicio de transferencia de datos de BigQuery exporta los datos de supervisión a Cloud Monitoring.
Supervisa el Servicio de transferencia de datos de BigQuery
Puedes usar métricas de supervisión para los siguientes fines:
- Evalúa el uso y el rendimiento de una configuración de transferencia de datos.
- Solucionar problemas.
- Supervisa los estados de ejecución de las transferencias.
Para crear paneles personalizados, configurar alertas y consultar métricas con Monitoring, puedes usar la consola de Google Cloud o la API de Monitoring.
Visualiza datos de transferencia en el Explorador de métricas
En la consola de Google Cloud, ve a la página Monitoring.
En el panel de navegación, haz clic en Explorador de métricas.
Selecciona tu proyecto.
En el cuadro Buscar tipo de recurso y métrica, ingresa lo siguiente:
- En Tipo de recurso, ingresa
BigQuery DTS Config. En Métrica, selecciona una de las métricas enumeradas en Métricas de supervisión para configuraciones de transferencias, por ejemplo,
Completed run count.
- En Tipo de recurso, ingresa
Opcional: Selecciona alineador, reductor y otros parámetros.
Las métricas se muestran en la ventana Explorador de métricas.
Define alertas de Cloud Monitoring
Puedes definir alertas de Monitoring para las métricas del Servicio de transferencia de datos de BigQuery:
En la consola de Google Cloud, ve a la página Monitoring.
En el panel de navegación, selecciona Alertas > Crear política.
Para obtener más información sobre las políticas de alertas y los conceptos subyacentes, consulta Tipos de políticas de alertas.
Haz clic en Agregar condición y selecciona el tipo de condición.
Selecciona métricas y filtros. Para las métricas, el tipo de recurso es Configuración de DTS de BigQuery.
Haz clic en Save Condition.
Ingresa el nombre de la política y, luego, haz clic en Guardar política.
Para obtener más información sobre las políticas y los conceptos de alertas, consulta Introducción a las alertas.
Define paneles personalizados de Cloud Monitoring
Puedes crear paneles personalizados a través de las métricas del Servicio de transferencia de datos de BigQuery:
En la consola de Google Cloud, ve a la página Monitoring.
En el panel de navegación, selecciona Paneles > Crear panel.
Haga clic en Add Chart.
Ponle un título al gráfico.
Selecciona métricas y filtros. Para las métricas, el tipo de recurso es Configuración de DTS de BigQuery.
Haz clic en Guardar.
Para obtener más información, consulta Administra paneles personalizados.
Frecuencia y retención de informes de métricas
Las métricas del Servicio de transferencia de datos de BigQuery se exportan a Monitoring en lotes, con intervalos de 1 minuto. Los datos de supervisión se conservan durante 6 semanas.
En el panel, se proporciona un análisis de datos en intervalos predeterminados de 1h (1 hora), 6H (6 horas), 1D (1 día), 1W (1 semana) y 6W (6 semanas). Puedes solicitar un análisis de forma manual en cualquier intervalo entre 1M (1 minuto) y 6W (6 semanas).
Supervisa métricas para opciones de configuración de transferencia
Las siguientes métricas para los archivos de configuración del Servicio de transferencia de datos de BigQuery se exportan a Monitoring:
| Métrica | Descripción |
|---|---|
| Ejecuta la distribución de latencia | Distribución del tiempo de ejecución (en segundos) de cada ejecución de transferencia, por configuración de transferencia. |
| Recuento de ejecuciones activas | Cantidad de ejecuciones de transferencia en ejecución o pendientes, por configuración de transferencia. |
| Cantidad de ejecuciones completadas | Cantidad de ejecuciones de transferencia completadas en un período, por configuración de transferencia. |
Filtra las dimensiones de las métricas
Las métricas se agregan para cada configuración del Servicio de transferencia de datos de BigQuery. Puedes filtrar métricas agregadas por las siguientes dimensiones:
| Propiedad | Descripción |
|---|---|
TRANSFER_STATE |
Representa el estado actual de la ejecución de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
|
ERROR_CODE |
Representa el código de error final de la ejecución de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
|
RUN_CAUSE |
Representa la forma en que se activó una ejecución de transferencia. Esta dimensión puede tener uno de los siguientes valores:
|
Registros del Servicio de transferencia de datos de BigQuery
Cada ejecución del Servicio de transferencia de datos de BigQuery se registra mediante Cloud Logging. Logging se habilita automáticamente para todas las transferencias de datos.
Roles obligatorios
El rol de visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Logging. Para obtener más información sobre los permisos y los roles de Identity and Access Management (IAM) que se aplican a los datos de Logging, consulta la Guía de control de acceso de Logging.
Visualizar los registros
Para ver los registros, ve a la página de Explorador de registros.
Los registros del Servicio de transferencia de datos de BigQuery se indexan primero mediante la configuración de la transferencia y, luego, por la ejecución de la transferencia individual.
Visualiza los registros de ejecución de una transferencia
Para mostrar solo las entradas de registro de una transferencia determinada run_id, en el Compilador de consultas, agrega los siguientes filtros:
resource.type="bigquery_dts_config" labels.run_id="transfer_run_id"
Visualiza los registros de configuración de una transferencia
Para mostrar las entradas de registro de una transferencia determinada config_id, en el Compilador de consultas, agrega los siguientes filtros:
resource.type="bigquery_dts_config" labels.run_id="transfer_config_id"
Ver todos los registros
Para ver todos los registros del Servicio de transferencia de datos de BigQuery, realiza una de las siguientes acciones:
En la sección Campos de registro, en Tipo de recurso, selecciona Configuración de DTS de BigQuery.
En el compilador de consultas, agrega el siguiente filtro:
resource.type="bigquery_dts_config"
Para obtener más información sobre cómo usar el Explorador de registros, consulta Usa el Explorador de registros.
Formato de registro
El Servicio de transferencia de datos de BigQuery registra los mensajes en el siguiente formato:
{
"insertId": "0000000000",
"jsonPayload": {
"message": "DTS transfer run message."
},
"resource": {
"type": "bigquery_dts_config",
"labels": {
"project_id": "my_project_id",
"config_id": "transfer_config_id",
"location": "us"
}
},
"timestamp": "2020-11-25T04:45:48.545732221Z",
"severity": "INFO",
"labels": {
"run_id": "transfer_run_id"
},
"logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
"receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}
¿Qué se registra?
Las entradas de registro del Servicio de transferencia de datos de BigQuery contienen información útil para supervisar y depurar las ejecuciones de transferencia. Las entradas de registro contienen los siguientes tipos de información:
timestamp: se usa para calcular la antigüedad de la entrada de registro y aplicar el período de retención del registroseverity: Puede serINFO,WARNINGoERRORmessage_text: Contiene una string que explica el estado actual de la ejecución de la transferencia
¿Qué sigue?
- Obtenga más información sobre Monitoring.
- Lee una descripción general de los registros de auditoría de Cloud y Cloud Logging.