En esta guía se explica cómo monitorizar instancias y flujos de procesamiento de Cloud Data Fusion. Puede ver las métricas clave en el panel de control de monitorización de Cloud Data Fusion. Para obtener más información sobre la agregación o el filtrado, puedes consultar las métricas en Cloud Monitoring.
Antes de empezar
Antes de empezar a monitorizar instancias y flujos de procesamiento de Cloud Data Fusion, consulta los precios y asigna los roles necesarios.
Precios
El uso de Cloud Monitoring conlleva cargos. Para obtener más información, consulta los precios de Google Cloud Observability.
Roles obligatorios
Para obtener los permisos que necesitas para ver las métricas, pide a tu administrador que te asigne el rol de gestión de identidades y accesos Lector de Monitoring (roles/monitoring.viewer) en tu proyecto.
Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.
También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.
Monitorizar en Cloud Data Fusion
Para ver y filtrar las métricas de tus instancias y flujos de procesamiento directamente en Cloud Data Fusion, usa el panel de control de monitorización:
En la Google Cloud consola, ve a la página de Cloud Data Fusion.
Haz clic en Instancias y, a continuación, en el nombre de la instancia para ir a la página Detalles de la instancia.
Haz clic en la pestaña Monitorización. Se muestra un panel de control con gráficos de tu instancia y sus pipelines.
En el panel de control se muestran las siguientes vistas:
- Descripción general: monitoriza las métricas del sistema de Cloud Data Fusion.
- Instancia: monitoriza todas las instancias de Cloud Data Fusion del proyecto.
- Flujo de procesamiento: proporciona información sobre las ejecuciones y el rendimiento de los flujos de procesamiento.
Para obtener información detallada sobre las métricas de cualquier vista, coloque el cursor sobre el widget y haga clic en Más > Ver en el explorador de métricas.
Widgets del panel de control de monitorización
En las siguientes secciones se describen los widgets disponibles en las vistas Resumen, Instancia y Pipeline.
Widgets de la vista general
En esta tabla se describen los widgets de la vista Vista general:
| Widget | Descripción |
|---|---|
| Estado del servicio AppFabric | Disponibilidad del servicio de AppFabric |
| Estado de los servicios de métricas | Disponibilidad del servicio para las métricas |
| Estado del servicio de Wrangler | Disponibilidad del servicio para Wrangler |
| Estado del ejecutor del conjunto de datos | Disponibilidad del servicio para el conjunto de datos |
| Estado de Pipeline Studio | Disponibilidad del servicio de Pipeline Studio |
| Estado del servicio del entorno de ejecución | Disponibilidad del servicio para el tiempo de ejecución |
| Estado del servicio de ahorro de registros | Disponibilidad del servicio de guardado de registros |
| Estado del servicio de metadatos | Disponibilidad del servicio de metadatos |
Widgets de la vista de flujo de procesamiento
En esta tabla se describen los widgets de la vista Pipeline (Proceso):
| Widget | Descripción |
|---|---|
| Ejecuciones de flujos de procesamiento correctas | Recuento acumulado de ejecuciones de flujos de trabajo correctas. |
| Ejecuciones de flujos de trabajo fallidas | Número acumulado de ejecuciones de flujos de trabajo fallidas. |
| Ejecuciones de flujo de procesamiento finalizadas | Número acumulativo de ejecuciones de flujos de procesamiento finalizadas. |
| Ejecuciones de flujos de procesamiento rechazadas | Número acumulativo de ejecuciones de flujos de trabajo rechazadas. |
| Tiempo de ejecución de flujos de procesamiento completados | Tiempo que tardan en completarse las ejecuciones de flujos de trabajo correctas. |
| Latencia de inicio del flujo de procesamiento | Tiempo que tarda una ejecución de flujo de procesamiento en alcanzar el estado "Running" (En ejecución). |
| Latencia de aprovisionamiento de Dataproc | Tiempo necesario para aprovisionar el clúster de Dataproc. |
| Número de solicitudes de la API de Dataproc | Recuento acumulativo de las solicitudes a la API de Dataproc. |
| Tiempo de ejecución de la vista previa | Tiempo necesario para completar las ejecuciones de vista previa correctamente. |
| Previsualizar ejecuciones | Número de ejecuciones de vista previa. |
| Bytes leídos del flujo de procesamiento | Recuento acumulativo de bytes leídos por una canalización. |
| Bytes escritos del flujo de procesamiento | Recuento acumulativo de bytes escritos por una canalización. |
| Bytes de flujo de procesamiento ordenados aleatoriamente | Recuento acumulativo de bytes aleatorizados en una canalización. |
| Registros de complementos procesados en | Recuento acumulativo de los registros que entran en un complemento. |
| Plugin records processed out | Recuento acumulativo de registros que salen de un complemento. |
Widgets de vista de instancia
En esta tabla se describen los widgets de la vista Instancia:
| Widget | Descripción |
|---|---|
| Flujos de procesamiento simultáneos en ejecución | Número de flujos de procesamiento que se ejecutan simultáneamente. |
| Flujos de procesamiento simultáneos iniciados | Número de canalizaciones en estado de aprovisionamiento o de inicio. |
| Solicitudes a la API recibidas | Número acumulado de solicitudes a la API recibidas. |
| Número de respuestas de la API | Recuento acumulado de respuestas de la API enviadas. |
| Número de comprobaciones de autorización | Número acumulativo de comprobaciones de autorización. |
| Hora de comprobación de la autorización | Latencia de las comprobaciones de autorización. |
| Número de flujos de procesamiento desplegados | Número de flujos de trabajo desplegados. |
| Número de flujos de procesamiento en borrador | Número de flujos de trabajo en borrador. |
| Número de espacios de nombres | Número de espacios de nombres. |
Ver métricas para análisis avanzados en Cloud Monitoring
Para ver más opciones de filtrado y agregación, consulta tus métricas en Cloud Monitoring:
En la Google Cloud consola, ve a la página Explorador de métricas de Cloud Monitoring.
Selecciona el recurso monitorizado Cloud Data Fusion.
Elige una métrica.
Selecciona los filtros y la agregación.
Siguientes pasos
- Para obtener información sobre los filtros y las métricas, consulta el resumen de métricas de Cloud Data Fusion.