Monitorizar y ver los registros de BigQuery Data Transfer Service

La monitorización y el registro de BigQuery Data Transfer Service proporcionan información sobre el rendimiento y el estado de la carga de trabajo del servicio. BigQuery Data Transfer Service exporta datos de monitorización a Cloud Monitoring.

Monitorizar BigQuery Data Transfer Service

Puede usar las métricas de monitorización para lo siguiente:

  • Evalúa el uso y el rendimiento de una configuración de transferencia de datos.
  • Solucionar problemas.
  • Monitoriza los estados de las ejecuciones de transferencia.

Para crear paneles de control personalizados, configurar alertas y consultar métricas con Monitoring, puedes usar la Google Cloud consola o la API de Monitoring.

Ver datos de transferencia en Explorador de métricas

  1. En la Google Cloud consola, ve a la página Monitorización.

    Ir a Monitoring

  2. En el panel de navegación, haz clic en Explorador de métricas.

  3. Selecciona el proyecto.

  4. En el cuadro Find resource type and metric (Buscar tipo de recurso y métrica), introduce lo siguiente:

  5. Opcional: Selecciona el alineador, el reductor y otros parámetros.

  6. Las métricas se muestran en la ventana Explorador de métricas.

    Ejemplo de métrica.

Definir alertas de Cloud Monitoring

Puede definir alertas de monitorización para las métricas de BigQuery Data Transfer Service:

  1. En la Google Cloud consola, ve a la página Monitorización.

    Ir a Monitoring

  2. En el panel de navegación, selecciona Alertas > Crear política.

    Para obtener más información sobre las políticas de alertas y los conceptos relacionados, consulta Tipos de políticas de alertas.

  3. Haz clic en Añadir condición y selecciona un tipo de condición.

  4. Seleccione métricas y filtros. En el caso de las métricas, el tipo de recurso es BigQuery DTS Config.

  5. Haz clic en Save Condition.

  6. Escribe el nombre de la política y haz clic en Guardar política.

Para obtener más información sobre las políticas y los conceptos de alertas, consulta la introducción a las alertas.

Definir paneles de control personalizados de Cloud Monitoring

Puede crear paneles de control personalizados con métricas de BigQuery Data Transfer Service:

  1. En la Google Cloud consola, ve a la página Monitorización.

    Ir a Monitoring

  2. En el panel de navegación, selecciona Paneles de control > Crear panel de control.

  3. Haz clic en Añadir gráfico.

  4. Ponle un título al gráfico.

  5. Seleccione métricas y filtros. En el caso de las métricas, el tipo de recurso es BigQuery DTS Config.

  6. Haz clic en Guardar.

Para obtener más información, consulta Gestionar paneles de control personalizados.

Frecuencia de los informes de métricas y retención

Las métricas de las ejecuciones de BigQuery Data Transfer Service se exportan a Monitoring en lotes, a intervalos de 1 minuto. Los datos de monitorización se conservan durante 6 semanas.

El panel de control proporciona análisis de datos en intervalos predeterminados de 1h (1 hora), 6H (6 horas), 1D (1 día), 1W (1 semana) y 6W (6 semanas). Puedes solicitar manualmente un análisis en cualquier intervalo entre 1M (1 minuto) y 6W (6 semanas).

Monitorizar métricas de configuraciones de transferencia

Las siguientes métricas de las configuraciones de BigQuery Data Transfer Service se exportan a Monitoring:

Métrica Descripción
Ejecutar distribución de latencia Distribución del tiempo de ejecución (en segundos) de cada ejecución de transferencia por configuración de transferencia.
Número de ejecuciones activas Número de ejecuciones de transferencias que están en curso o pendientes por configuración de transferencia.
Número de ejecuciones completadas Número de ejecuciones de transferencia completadas en un periodo, por configuración de transferencia.

Dimensiones de filtro de métricas

Las métricas se agregan para cada configuración de BigQuery Data Transfer Service. Puede filtrar las métricas agregadas por las siguientes dimensiones:

Propiedad Descripción
TRANSFER_STATE Representa el estado actual de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • unspecified
  • pending
  • running
  • succeeded
  • failed
  • cancelled
ERROR_CODE Representa el código de error final de la transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • OK
  • CANCELLED
  • UNKNOWN
  • INVALID_ARGUMENT
  • DEADLINE_EXCEEDED
  • NOT_FOUND
  • ALREADY_EXISTS
  • PERMISSION_DENIED
  • UNAUTHENTICATED
  • RESOURCE_EXHAUSTED
  • FAILED_PRECONDITION
  • ABORTED
  • OUT_OF_RANGE
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
  • DATA_LOSS
RUN_CAUSE Representa cómo se ha activado una ejecución de transferencia. Esta dimensión puede tener uno de los siguientes valores:
  • USER_REQUESTED
  • AUTO_SCHEDULE

Registros de BigQuery Data Transfer Service

Cada ejecución de BigQuery Data Transfer Service se registra mediante Cloud Logging. El registro se habilita automáticamente en todas las transferencias de datos.

Roles obligatorios

El rol Lector de registros (roles/logging.viewer) te da acceso de solo lectura a todas las funciones de Logging. Para obtener más información sobre los permisos y roles de gestión de identidades y accesos (IAM) que se aplican a los datos de Logging, consulta la guía de control de acceso de Logging.

Ver registros

Para ver los registros, ve a la página Explorador de registros.

Ir a Explorador de registros

Los registros de BigQuery Data Transfer Service se indexan primero por la configuración de la transferencia y, después, por la ejecución de la transferencia individual.

Ver registros de ejecuciones de transferencias

Para mostrar solo las entradas de registro de una transferencia concreta run_id, en el generador de consultas, añade los siguientes filtros:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Ver los registros de ejecución.

Ver registros de configuración de transferencias

Para mostrar las entradas de registro de una transferencia determinada config_id, en el Generador de consultas, añade los siguientes filtros:

resource.type="bigquery_dts_config"
resource.labels.config_id="transfer_config_id"

Ver todos los registros

Para ver todos los registros de BigQuery Data Transfer Service, haga una de las siguientes acciones:

  • En el panel Campos, en Tipo de recurso, selecciona Configuración de DTS de BigQuery .

    Ver todos los registros.

  • En la herramienta para crear consultas, añade el siguiente filtro:

    resource.type="bigquery_dts_config"

Para obtener más información sobre cómo usar el Explorador de registros, consulta el artículo Usar el Explorador de registros.

Formato de registro

BigQuery Data Transfer Service registra mensajes con el siguiente formato:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Qué se registra

Las entradas de registro de BigQuery Data Transfer Service contienen información útil para monitorizar y depurar las ejecuciones de transferencias. Las entradas de registro contienen los siguientes tipos de información:

  • timestamp: se usa para calcular la antigüedad de la entrada de registro y para aplicar el periodo de conservación del registro.
  • severity: puede ser INFO, WARNING o ERROR
  • message_text: contiene una cadena que explica el estado actual de la ejecución de la transferencia.

Siguientes pasos