Crea un panel de supervisión de canalizaciones con Cloud Monitoring

Aprende a usar Cloud Monitoring para crear un panel y supervisar canalizaciones.

Para seguir la guía paso a paso en esta tarea directamente en la consola de Google Cloud, haz clic en Guiarme:

GUIARME

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Enable the APIs

  7. Para crear paneles personalizados, debes tener el rol de IAM Editor de Monitoring (roles/monitoring.editor) en la cuenta de servicio.

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Crea una instancia de Cloud Data Fusion con Cloud Logging habilitado

Para usar Cloud Logging con tu canalización de Cloud Data Fusion, crea una instancia de Cloud Data Fusion con Cloud Logging habilitado:

  1. Ve a la página Instancias de Cloud Data Fusion y haz clic en Crear instancia.

    Crea una instancia

  2. En el campo Nombre de la instancia, ingresa un nombre para tu nueva instancia.

  3. En el menú desplegable Región, selecciona la región de Google Cloud en la que deseas crear la instancia.

  4. En el menú desplegable Versión, selecciona una versión de Cloud Data Fusion.

  5. Selecciona una edición.

  6. Expande Opciones avanzadas.

  7. En la sección Logging and monitoring, selecciona Habilitar el servicio de registro de Stackdriver.

  8. Haz clic en Crear.

Después de crear una instancia, no puedes habilitar Cloud Logging en Consola de Google Cloud

Crea una métrica basada en registros

  1. Ve a la página Métricas basadas en registros de Cloud Logging:

    Ir a Métricas basadas en registros

  2. Haz clic en Crear métrica.

  3. En la página Crea una métrica, haz lo siguiente:

    1. En Tipo de métrica, selecciona Contador.
    2. En el campo Nombre de la métrica basada en registros, ingresa pipeline_logs.
    3. En el campo Unidades, ingresa 1.

    4. En el campo Crear filtro, ingresa lo siguiente:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. En la sección Etiquetas, haz clic en Agregar etiqueta y crea las siguientes etiquetas. Después de ingresar cada etiqueta, haz clic en Listo y, luego, en Agregar etiqueta nuevamente para crear la siguiente etiqueta.

      Nombre de etiqueta Tipo de etiqueta Nombre del campo
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Haz clic en Crear métrica.

      La métrica recién creada aparecerá en la tabla de métricas definidas por el usuario. Si la métrica no es visible de inmediato, actualiza la página.

      El panel contiene los siguientes gráficos:

      • Todas las canalizaciones
      • Canalizaciones completadas
      • Canalizaciones con errores
      • Todas las ejecuciones de canalizaciones
      • Ejecuciones de canalizaciones completadas
      • Ejecuciones fallidas de canalizaciones
      • Clústeres de Dataproc para ejecuciones

      Después de que se crea una métrica, pueden pasar hasta 24 horas para que se empiecen a mostrar los datos de las series temporales.

Instala el panel

  1. Descarga el archivo JSON a tu máquina local.

  2. Ve a la página Paneles de Cloud Monitoring:

    Ir a Paneles de Monitoring

  3. Haz clic en Crear panel de control.

  4. Haz clic en Configuración del panel > JSON > Editor de JSON.

  5. En un editor de texto, abre el archivo JSON que descargaste.

  6. Copia el contenido del archivo JSON descargado y pégalo en el editor de JSON, y reemplaza el contenido que el editor de JSON incluye de forma predeterminada.

  7. Haz clic en Aplicar cambios.

    Esto actualizará el panel. Las canalizaciones de Cloud Data Fusion que se ejecutan después de crear la métrica aparecen en el panel. Si no se ejecutó ninguna canalización después de crear la métrica, el panel estará vacío.

  8. El guardado automático está habilitado de forma predeterminada. Si el guardado automático está inhabilitado, haz clic en Guardar para guardar el panel.

  9. Haz clic en Cerrar editor.

    Tu nuevo panel aparece en la lista de paneles de la página Descripción general de Monitoring.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Borra la instancia de Cloud Data Fusion

Sigue estas instrucciones para borrar tu instancia de Cloud Data Fusion.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, sigue estos pasos:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?