Supervisa y consulta los registros del Servicio de transferencia de datos de BigQuery

La supervisión y el registro del Servicio de transferencia de datos de BigQuery proporcionan información sobre el rendimiento y el estado de la carga de trabajo del servicio. El Servicio de transferencia de datos de BigQuery exporta los datos de supervisión a Cloud Monitoring.

Supervisa el Servicio de transferencia de datos de BigQuery

Puedes usar métricas de supervisión para los siguientes fines:

  • Evalúa el uso y el rendimiento de una configuración de transferencia de datos.
  • Solucionar problemas.
  • Supervisa los estados de ejecución de las transferencias.

Para crear paneles personalizados, configurar alertas y consultar métricas con Monitoring, puedes usar la consola de Google Cloud o la API de Monitoring.

Visualiza datos de transferencia en el Explorador de métricas

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. En el panel de navegación, haz clic en Explorador de métricas.

  3. Selecciona tu proyecto.

  4. En el cuadro Buscar tipo de recurso y métrica, ingresa lo siguiente:

  5. Opcional: Selecciona alineador, reductor y otros parámetros.

  6. Las métricas se muestran en la ventana Explorador de métricas.

    Ejemplo de métrica.

Define alertas de Cloud Monitoring

Puedes definir alertas de Monitoring para las métricas del Servicio de transferencia de datos de BigQuery:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. En el panel de navegación, selecciona Alertas > Crear política.

    Para obtener más información sobre las políticas de alertas y los conceptos subyacentes, consulta Tipos de políticas de alertas.

  3. Haz clic en Agregar condición y selecciona el tipo de condición.

  4. Selecciona métricas y filtros. Para las métricas, el tipo de recurso es Configuración de DTS de BigQuery.

  5. Haz clic en Save Condition.

  6. Ingresa el nombre de la política y, luego, haz clic en Guardar política.

Para obtener más información sobre las políticas y los conceptos de alertas, consulta Introducción a las alertas.

Define paneles personalizados de Cloud Monitoring

Puedes crear paneles personalizados a través de las métricas del Servicio de transferencia de datos de BigQuery:

  1. En la consola de Google Cloud, ve a la página Monitoring.

    Ir a Monitoring

  2. En el panel de navegación, selecciona Paneles > Crear panel.

  3. Haga clic en Add Chart.

  4. Ponle un título al gráfico.

  5. Selecciona métricas y filtros. Para las métricas, el tipo de recurso es Configuración de DTS de BigQuery.

  6. Haz clic en Guardar.

Para obtener más información, consulta Administra paneles personalizados.

Frecuencia y retención de informes de métricas

Las métricas del Servicio de transferencia de datos de BigQuery se exportan a Monitoring en lotes, con intervalos de 1 minuto. Los datos de supervisión se conservan durante 6 semanas.

En el panel, se proporciona un análisis de datos en intervalos predeterminados de 1h (1 hora), 6H (6 horas), 1D (1 día), 1W (1 semana) y 6W (6 semanas). Puedes solicitar un análisis de forma manual en cualquier intervalo entre 1M (1 minuto) y 6W (6 semanas).

Supervisa métricas para opciones de configuración de transferencia

Las siguientes métricas para los archivos de configuración del Servicio de transferencia de datos de BigQuery se exportan a Monitoring:

Métrica Descripción
Ejecuta la distribución de latencia Distribución del tiempo de ejecución (en segundos) de cada ejecución de transferencia, por configuración de transferencia.
Recuento de ejecuciones activas Cantidad de ejecuciones de transferencia en ejecución o pendientes, por configuración de transferencia.
Cantidad de ejecuciones completadas Cantidad de ejecuciones de transferencia completadas en un período, por configuración de transferencia.

Filtra las dimensiones de las métricas

Las métricas se agregan para cada configuración del Servicio de transferencia de datos de BigQuery. Puedes filtrar métricas agregadas por las siguientes dimensiones:

Propiedad Descripción
TRANSFER_STATE Representa el estado actual de la ejecución de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE Representa el código de error final de la ejecución de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE Representa la forma en que se activó una ejecución de transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • USER_REQUESTED
  • AUTO_SCHEDULE

Registros del Servicio de transferencia de datos de BigQuery

Cada ejecución del Servicio de transferencia de datos de BigQuery se registra mediante Cloud Logging. Logging se habilita automáticamente para todas las transferencias de datos.

Roles obligatorios

El rol de visualizador de registros (roles/logging.viewer) te otorga acceso de solo lectura a todas las funciones de Logging. Para obtener más información sobre los permisos y los roles de Identity and Access Management (IAM) que se aplican a los datos de Logging, consulta la Guía de control de acceso de Logging.

Ver registros

Para ver los registros, ve a la página de Explorador de registros.

Ir al Explorador de registros

Los registros del Servicio de transferencia de datos de BigQuery se indexan primero mediante la configuración de la transferencia y, luego, por la ejecución de la transferencia individual.

Visualiza los registros de ejecución de una transferencia

Para mostrar solo las entradas de registro de una transferencia determinada run_id, en el Compilador de consultas, agrega los siguientes filtros:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Visualiza los registros de ejecución.

Visualiza los registros de configuración de una transferencia

Para mostrar las entradas de registro de una transferencia determinada config_id, en el Compilador de consultas, agrega los siguientes filtros:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Ve registros de configuración.

Ver todos los registros

Para ver todos los registros del Servicio de transferencia de datos de BigQuery, realiza una de las siguientes acciones:

  • En la sección Campos de registro, en Tipo de recurso, selecciona Configuración de DTS de BigQuery.

    Ve todos los registros.

  • En el compilador de consultas, agrega el siguiente filtro:

    resource.type="bigquery_dts_config"

Para obtener más información sobre cómo usar el Explorador de registros, consulta Usa el Explorador de registros.

Formato de registro

El Servicio de transferencia de datos de BigQuery registra los mensajes en el siguiente formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

¿Qué se registra?

Las entradas de registro del Servicio de transferencia de datos de BigQuery contienen información útil para supervisar y depurar las ejecuciones de transferencia. Las entradas de registro contienen los siguientes tipos de información:

  • timestamp: Se usa para calcular la antigüedad de la entrada de registro y aplicar el período de retención del registro.
  • severity: Puede ser INFO, WARNING o ERROR
  • message_text: Contiene una string que explica el estado actual de la ejecución de la transferencia

¿Qué sigue?